머리말 — 의미를 벡터에 담기

📍 현재 위치: 3권 — 신경 표현의 문 앞에서. 2권은 일곱 부에 걸쳐 얻어낸 하나의 평결로 마무리되었습니다: 기호는 정리(theorem), 유래(provenance), 그리고 기권할 권리를 사 주지만, 기호적 추론기는 데이터로부터 배울 수 없고, 추측의 순위를 매길 수 없으며, 아무도 적어 두지 않은 모든 사실 앞에서 침묵합니다. 이 권은 다른 하나의 기둥을 세웁니다: 적혀 있지 않은 것을 배우는 벡터, 영역, 신경망, 그리고 그 배움이 조용히 포기하는 것을 측정하는 도구들입니다.

다시 오신 것을 환영합니다. 2권은 하나의 정직한 비대칭으로 마무리되었습니다. 그 머리말의 사서는 자신의 목록 위에서는 흠이 없습니다: 모든 결론이 정리이고, 모든 모순이 포착되며, 모든 미지의 질문에는 담백한 "표시된 바 없음"으로 답합니다. 바로 그 마지막 표현이 상처입니다. bob이 dave를 지도한다고 적은 카드가 애초에 등록된 적이 없었다고 가정해 보십시오: 그녀에게 물어보면, 그녀는 순위가 매겨진 어림짐작조차 내놓지 못합니다. 실제 지식 베이스는 근본적으로 불완전하며, 오직 증명만 할 수 있는 시스템은 결코 추측할 수 없습니다. 이 권은 그 추측의 절반을 진지하게 받아들이며, 그것을 가능하게 하는 단 하나의 조치는 기호를 더 이상 불투명한 이름으로 다루지 않고 그것을 임베딩(embed)하는 것입니다: 기하학적 공간 안에 위치를 부여하여, "이 적혀 있지 않은 사실이 얼마나 그럴듯한가"라는 질문이 계산하고, 미분하고, 훈련할 수 있는 하나의 숫자가 되도록 만드는 것입니다. 세계는 바뀌지 않습니다. 우리는 바로 그 똑같은 학계 지식 베이스를 세 번째 방식으로, 즉 벡터에 담길 그래프로 다시 읽어내며, 끝에 이르면 여러분은 벡터가 무엇을 담을 수 있는지, 무엇을 오직 근사할 수만 있는지, 그리고 그것이 거짓말하는 순간을 어떻게 붙잡는지 정확히 알게 될 것입니다.

쉽게 말하면

그 사서의 동료를 상상해 보십시오: 너무 많은 책을 꽂아 봐서 이제는 감각만으로 새 책의 자리를 찾아낼 수 있는 서점 주인입니다. 그에게는 목록 카드가 없습니다. 그가 가진 것은 위치 자체가 의미인 가게입니다: 추리 소설은 범죄물 근처에, 회고록은 전기물 근처에 있고, 두 서가 사이의 거리 자체가 그 위에 꽂힌 책들에 관한 하나의 사실입니다. 한 번도 본 적 없는 제목을 건네주어도 그는 "표시된 바 없음"이라고 말하지 않습니다. 그는 한 서가로 걸어가 "아마 여기, 아니면 이 셋 중 하나"라고 말합니다. 그는 재배열을 통해 그 기술을 익혔습니다: 두 권의 책이 함께 대출될 때마다 그는 그 둘을 조금씩 더 가깝게 밀어 놓았고, 그렇게 가게 전체가 서서히 하나의 모양으로 정돈되었습니다. 그는 빠르고, 일반화하며, 때로는 스스로도 설명할 수 없는 방식으로 틀립니다. 왜냐하면 그 배치 자체가 그의 지식이며, 손으로 짚어 보일 카드가 따로 없기 때문입니다. 이 권은 바로 그 서점 주인이 어떻게 일하는지에 관한 것입니다: 가게가 어떻게 정돈되는지(훈련), "가깝다"는 것이 무엇을 뜻하는지(점수 함수), 서가가 어떤 모양을 취할 수 있는지(점, 상자, 공, 휘어진 방), 그리고 그의 배치가 조용히 잊어버린 것을 드러내는 검사들입니다.

이 권이 다루는 내용

3권은 하나의 빠진 엣지에 점수를 매기는 일에서 시작해 기하학이 약속할 수 있는 모든 것을 감사하는 데까지 이르는, 여섯 부로 이루어진 하나의 연속된 오름길입니다. 각 부는 하나의 질문에 답합니다:

부	주제	답하는 질문
I부 — 지식 그래프 임베딩	링크 예측; TransE; DistMult와 ComplEx	하나의 사실은 어떻게 벡터가 되고, 하나의 추측은 어떻게 순위가 되는가?
II부 — 영역·기하 임베딩	공과 원뿔; Query2Box 상자; 베타 분포; 상자 대 공	개념은 어떤 모양이어야, 논리의 ⊓와 ∃가 기하학의 교집합과 이동이 되는가?
III부 — 온톨로지 임베딩	EL 임베딩; BoxEL, Box²EL, TransBox; mOWL; 쌍곡 공간	기하학은 실제 온톨로지를 충실하게 담아낼 수 있는가, 그리고 그 건전성은 어떻게 검증하는가?
IV부 — 그래프 신경망과 그 한계	메시지 전달; GCN과 R-GCN; 1-WL, C², 등급 양상 논리	엣지를 따라 메시지만 전달하는 신경망은 무엇을 결코 구별할 수 없다고 증명되는가?
V부 — 어텐션과 트랜스포머	스케일드 닷프로덕트 어텐션; 벡터 상징 구조; 소프트 단일화	벡터는 부드럽게, 정도에 따라 기호를 지목하고, 결속하고, 대응시킬 수 있는가?
VI부 — 평결	벡터가 담아내는 것과 새어 나가는 것	이 모든 기하학이 진정으로 사 준 것은 무엇인가?

이 권의 독자

이 권은 2권보다 한 걸음 더 나아간 독자, 3학년에서 4학년으로 올라서는 독자를 위해 쓰였습니다. 여러분이 벡터, 행렬, 내적, 그리고 1권에서 처음부터 만든 경사 하강법(gradient descent)에 이미 익숙하다고 가정하지만, 각 장치가 중요해지는 바로 그 순간마다 다시 가르쳐 줍니다. 그 무엇도 블랙박스로 등장하지 않습니다. 이 권의 모든 모델은 동반 스위트 examples/neural/에 순수 NumPy로 구현되어 있고, 모든 그래디언트는 본문에서 손으로 유도되며 그것을 계산하는 정확한 코드 줄 위의 주석에도 유도되어 있습니다. 그리고 선택적인 독립 오라클(torch_check.py, 2권의 HermiT 교차 검증에 해당하는 것)이 이 스위트에서 손으로 유도한 손실 그래디언트 가운데 세 가지(TransE의 마진 힌지, DistMult의 로지스틱 손실, 상자 포함 힌지)를 torch.autograd로 다시 계산하여 기계 정밀도까지 일치함을 확인해 줍니다. 전체 스위트는 validate.py로 봉인되어 있습니다. 이는 커밋된 코드에 대해 15개의 역량 검사 중 15개가 모두 통과하는 인수 검증 하니스이며, 각 장에서 인용된 모든 숫자는 python3 <module>.py로 바이트 단위까지 동일하게 재현됩니다.

논지: 순위를 매길 수 있는 어림짐작

이 권 전체가 딛고 서 있는 확신은 다음과 같습니다. 신경 표현은 아무도 적어 두지 않은 사실에 대한 그럴듯한 답을, 누군가 적어 둔 사실에 대한 보장을 대가로 치르고 사 줍니다. 이 두 절 모두가 정확하게 다듬어질 것이고 둘 다 측정될 것입니다. 그 보상은 실질적입니다. 각 개체에 벡터 하나를, 각 관계에 기하학적 연산 하나를 부여하고, 기하학이 얼마나 잘 닫히는지로 후보 트리플의 점수를 매기며(TransE의 경우 점수는 부호를 바꾼 길이 $-\lVert \mathbf{e}_h + \mathbf{w}_r - \mathbf{e}_t \rVert$이며, "머리의 점을 관계의 화살표만큼 이동시켰을 때 꼬리의 점에서 얼마나 멀리 떨어져 내려앉는가"로 읽습니다), 15개의 알려진 사실이 오염된 사실들보다 더 높은 점수를 받도록 그 배치를 훈련합니다. 우리의 세계에서 이는 필터링된 평균 역순위(Mean Reciprocal Rank, MRR)가 0.1062에 불과한(알파벳순 추측보다 겨우 조금 나은) 얼어붙은 무작위 배치를, 훈련을 거쳐 0.7778에 이르는 배치로 바꾸어 놓으며, 진정으로 제외해 둔 사실인 advises(bob, dave)를 단 한 번도 본 적 없이도 최상위 혹은 그 근처에 올려놓습니다.

그 대가 역시 실질적입니다. 점수는 증명이 아닙니다: 여러분에게 건네줄 도출 과정도 없고, 함의라는 개념도 없으며, 기하학이 논리적으로 불가능한 사실을 참인 사실보다 조용히 더 높게 채점하는 것을 막아 줄 그 무엇도 없습니다. 2권이 건전성을 하나의 정리로 진술할 수 있었던 곳에서, 3권은 오직 그것을 검증(probe)할 수 있을 뿐입니다: 임베딩을 훈련한 다음, 그 기하학을 기호적 금본위 기준에 견주어 심문하고 불일치의 개수를 세는 것입니다. 정직하게 수행된 그 검증이 바로 이 권의 방법론적 핵심입니다.

실행 예제, 지식 그래프로 다시 읽기

우리는 세계를 마지막 한 가지 사실까지 그대로 유지하며, 오직 렌즈만 바꿉니다. 1권의 18개 이항 사실은 13개의 개체와 5개의 기본 관계(about, advises, affiliated, authored, cites; 여섯 번째 역할인 grandAdvisor는 2권의 역할 사슬로부터 도출되므로 데이터로 단언된 적이 없습니다) 위의 18개 (머리, 관계, 꼬리) 트리플이 됩니다. 2권의 ABox는 각 개체의 개념을 제공하여 그래프망 장들이 필요로 하는 노드 레이블을 부여합니다: 교수 2명, 학생 3명, 논문 3편, 기관 2곳, 주제 3개입니다. 결정론적 분할은 3개의 트리플을 시험 문제로 제외해 두되, 모든 개체와 관계가 여전히 15개의 훈련 트리플 안에 나타나도록 선택되며, 표준 필터링된 순위 매기기(filtered ranking) 프로토콜은 그 3개를 평균 역순위와 Hits@k(참인 답이 상위 k위 안에 드는 질의의 비율)로 채점되는 6개의 순위 질의로 바꿉니다. 이 모든 것은 examples/neural/kg.py에 단 한 번 고정되어 있으므로, 이 권의 모든 모델은 정확히 같은 데이터로 훈련되고 정확히 같은 심판에게 판정받습니다.

온톨로지를 다루는 장들은 판돈을 더 키웁니다: 이 장들은 2권의 EL++ TBox 자체, 즉 16개의 정규형으로 정규화된 14개의 공리를 그대로 기하학을 위한 훈련 데이터로 재사용한 다음, 훈련된 공과 상자가 2권의 완성 알고리즘이 인증한 8개의 금본위 포섭 관계를 재현하고 의도적으로 충족 불가능하게 만들어진 2개의 개념을 존중하는지를 묻습니다.

하나의 학계 세계가 세 번째 방식으로 다시 읽힙니다: 기하학에 임베딩된 지식 그래프이며, 그 추측은 제외해 둔 사실에 견주어 순위가 매겨지고 그 모양은 2권의 정확한 분류에 견주어 검증되며, 그 아래에는 이 권의 여섯 부에 걸친 오름길이 펼쳐져 있습니다. 저자가 AI의 도움을 받아 직접 제작한 원본 도해.

점이 먼저다: 화살표로서의 사실, 순위로서의 추측

I부는 이 기둥 전체의 가장 작은 작동 단위를 세웁니다: 개체 하나에 벡터 하나, 관계 하나에 연산 하나, 후보 사실 하나에 점수 하나입니다. 이 부는 링크 예측과 필터링된 MRR/Hits@k 프로토콜을 정확하게 정의하고, TransE의 마진 손실(margin loss)의 모든 그래디언트를 손으로 유도한 다음, 첫 번째 구조적 벽에 부딪힙니다: 순수한 이동(translation)은 대칭 관계를 모델링할 수 없고, DistMult 같은 쌍선형(bilinear) 모델은 모든 관계를 대칭으로 모델링할 수밖에 없어서 cites(p1, p2)와 cites(p2, p1)에 마지막 자리까지 동일한 점수를 매깁니다. ComplEx는 복소수로의 한 걸음으로 이를 고칩니다. 그리고 그 수선은 이 권이 되풀이하는 교훈을 처음으로 맛보게 해 줍니다: 어떤 모델이 무엇을 표현할 수 있는지는 어떤 훈련이 시작되기도 전에 그것의 기하학에 의해 결정된다는 것입니다.

그다음은 영역이다: 모양으로서의 개념과 질의

점은 "이 개체"라고 말할 수는 있지만, "모든 학생"이라고는 말할 수 없습니다. II부는 개념에 외연(extent)을 부여합니다: 개념은 영역이 되고, 소속은 포함이 되며, 2권의 논리적 어휘가 기하학으로 컴파일되기 시작합니다. ⊓는 교집합으로, ∃는 이동으로 옮겨집니다. Query2Box는 상자를 이동시키고 교차시켜 다중 홉 논리곱 질의("alice가 지도하는 누군가가 저술한 논문들")에 답합니다. 베타 임베딩(Beta embeddings)은 영역을 확률 분포로 바꾸어, 상자로는 닫아낼 수 없는 단 하나의 연산자인 부정(negation)을 사 줍니다. 그리고 하나의 커밋된 아쉬운 결과가 의도적으로 그대로 전시되어 있습니다: 두 홉짜리 상자 질의는 제외해 둔 그 지도 학생을 3위에 올려놓는데, 이것이 바로 불완전한 그래프로부터의 정직한 일반화가 어떤 모습인지를 정확히 보여 줍니다.

재판대에 오른 기하학: 실제 온톨로지 임베딩하기

III부는 두 기둥이 처음으로 맞닿는 곳입니다. EL 임베딩(EL Embeddings)은 TBox의 정규형들을 공(ball) 위의 미분 가능한 손실로 옮기는데, 단 하나의 역할 사슬(advises를 자기 자신과 합성하여 grandAdvisor를 낳는 공리)만은 예외입니다: 그 손실 어휘에는 이를 표현할 항이 없으므로, 그 공리는 근사되는 것이 아니라 그대로 탈락합니다. BoxEL, Box²EL, TransBox는 같은 발상을 상자로 다시 맞추어 넣는데, 공의 교집합이 정확하지 않은 곳에서 상자의 교집합은 정확합니다. mOWL은 이 도구들을 하나로 묶어 줍니다. 이 장들은 이 모델들을 우리의 16개 정규형 가운데 15개 위에서 훈련하며 그 사슬은 소리 내어 건너뛰고, 그런 다음 건전성 검증을 수행합니다: 훈련된 기하학은 8개의 금본위 포섭 관계 전부를 거짓 양성 0개, 거짓 음성 0개로 복원하고, 분리성(disjointness) 공리는 물리적으로 서로 떨어진 상자들로 나타납니다. 그러나 최종 손실은 0에 이르지 못하며, 그 잔여값이 바로 "충족하도록 훈련됨"과 "충족하도록 보장됨" 사이의 정확한 거리입니다. 이 부는 휘어진 공간에서 마무리됩니다: 같은 차원에서 개념 위계의 쌍곡(hyperbolic) 임베딩은 유클리드 임베딩보다 그래프 거리를 더 잘 추적합니다(차원 2에서 스피어만 상관계수 0.8136 대 0.7539). 트리 구조는 평평한 공간이 갖지 못한 여유 공간을 필요로 하기 때문입니다.

한계: 메시지 전달이 볼 수 없는 것

IV부는 개별 사실에서 그래프 전체로 시선을 돌립니다. 그래프 신경망(graph neural network)은 각 노드의 표현을 그 이웃들의 표현을 반복적으로 집계하여 계산하며, R-GCN은 그 집계를 관계를 인식하도록 만듭니다. 이 부의 놀라운 결과는 부정적이면서도 정확합니다: 메시지 전달은 1차원 바이스파일러-레만(Weisfeiler-Leman) 색상 정련(color refinement)에 의해 한계 지어지는데, 이는 그러한 어떤 신경망도 결코 구별할 수 없는 단순한 그래프 쌍, 즉 삼각형 두 개 대 육각형 하나가 존재한다는 것을 뜻합니다. 그리고 그 한계에 대응하는 논리적 짝은 정확히 두 변수 계수 논리(counting logic) C²입니다. 하나의 논리로 특징지어지는 하나의 신경망 아키텍처, 이것이 이 권에서 가장 깊은 다리이며, 이는 증명과 함께 옵니다.

어텐션, 결속, 그리고 소프트 단일화

V부는 기호적 추론의 메커니즘 그 자체가 벡터로의 번역을 견뎌 내는지를 묻습니다. 어텐션(attention)은 내용 기반 주소 지정입니다: 내적에 대한 소프트맥스가 관련성에 따라 검색해 내며, 우리는 그 야코비안(Jacobian)과 포화(saturation) 거동을 온전히 유도합니다. 벡터 상징 구조(vector symbolic architectures)는 결속(binding)과 중첩(superposition)이 어떻게 단 하나의 1024차원 벡터가 우리 그래프의 18개 트리플 전부를 저장하고 18개의 꼬리 질의(머리와 관계가 주어지면 꼬리를 되찾는 질의) 전부에 정확히 답하게 해 주는지를 보여 주는데, 그 용량은 한꺼번에 무너지는 대신 서서히 저하됩니다. 소프트 단일화(soft unification)는 1권의 단일화(unification)를 미분 가능하게 만들어 이 부를 마무리합니다: 이제 하나의 증명은 엄격한 증명기라면 그저 실패하고 마는 곳에서 하나의 동의어(유사도 0.9783으로 supervises를 advises에 대응시키는 것)를 거쳐 나아갈 수 있으며, 그 대가로 "일치한다"는 것이 이제 정도의 문제임을 인정해야 합니다.

미리 약속된 평결

VI부는 이 모든 것을 저울질합니다. 얻은 것은 단언되는 것이 아니라 측정됩니다: 끌어올려진 순위, 답해진 질의, 압축된 위계, 복원된 금본위 기준입니다. 잃은 것 역시 측정됩니다: 함의 없음, 기권 없음, 검증이 미친 범위까지만 유효한 건전성, 정리에 의해 한계 지어진 표현력입니다. 정직한 요약은 벡터와 기호가 서로 정반대의 지점에서 실패한다는 것이며, 이는 패배가 아니라 하나의 설계 명세서이고, 4권은 바로 그 명세서를 실행에 옮긴 것입니다.

이 길이 이르는 곳

이 오름길은 모든 임베딩 모델이 답하기 위해 존재하는 바로 그 질문에서, 맨 밑바닥에서 시작됩니다: 15개의 알려진 사실이 주어졌을 때, 16번째 사실은 얼마나 그럴듯한가? 첫 장인 링크 예측: 그래프 완성하기는 그 질문을 정확하게 다듬습니다. 이 장은 트리플, 트리플의 오염(corruption), 필터링된 순위 매기기 프로토콜, 그리고 이 권의 모든 모델이 그것으로 판정받게 될 두 숫자(평균 역순위와 Hits@k)를 정의한 다음, 이후의 모든 장이 반드시 넘어서야 할 기준선을 세웁니다: 얼어붙은 무작위 배치는 우리의 여섯 질의에서 필터링된 MRR 0.1062점을 받으며, 앞으로 펼쳐질 모든 것은 그 위의 거리를 벌어들이는 이야기입니다.