머리말 — 프론티어에 서서

📍 현재 위치: 5권 — 추론의 프론티어의 문 앞에서. 4권은 하나의 평결로 자신의 장부를 닫았습니다: 통합은 작동하며, 기계 장치의 구조가 문제의 구조와 맞아떨어지는 바로 그곳에서 작동합니다. 그러나 같은 장부는 네 가지 갚지 못한 빚(보정, 충실성, 추론 지름길, 규모)을 지목했으며, 이 권은 그 빚을 갚거나 아직 갚을 수 없는 정확한 이유를 말하기 위해 존재합니다: 같은 학계 세계를 다섯 번째로 읽어, 앞선 네 권의 모든 주장이 신뢰를 놓고 감사받고 규모를 놓고 값매김되는 자리로 삼습니다.

마지막 오름길에 오신 것을 환영합니다. 1권은 무(無)로부터 추론기를 지었고, 2권은 그 답을 정리로 만들었고, 3권은 그 개체를 기하로 만들었고, 4권은 그 증명을 미분 가능하게 만들고 그것이 언제 보상을 주는지에 대한 정직한 결산으로 끝을 맺었습니다. 그 네 권 모두 하나의 메커니즘을 지었습니다. 이 권은 메커니즘을 거의 짓지 않습니다. 이 권이 하는 일은 계측 도구입니다: 어떤 메커니즘이 믿음을 받을 자격이 있는지, 그리고 그것이 규모와 부딪혔을 때 살아남는지를 재는 장치들입니다. 그 질문들은 실제로 일하는 연구자가 정말로 마주치는 질문들입니다. 시스템이 답할 때, 그 답에 대한 가장 작고 정직한 이유는 무엇이며, 시스템이 내놓는 설명은 실제로 그것이 사용한 이유입니까? 시스템이 옳을 때, 옳은 이유로 옳은 것입니까, 그리고 몇 가지 틀린 이유가 같은 점수를 냅니까? 시스템이 0.9라고 말할 때, 열 번 중 아홉 번은 실제로 옳습니까, 그리고 언제 아무 말도 하지 말아야 하는지 압니까? 지식 베이스가 천 배로 자랄 때, 우리 알고리즘 가운데 어느 것이 그 규모를 따라갈 수 있으며, 살아남는 것들은 무엇을 대가로 치릅니까? 그리고 고정된 깊이의 신경망이 증명 가능한 천장에 부딪힐 때, 정확히 무엇이 그 잃어버린 깊이를 되사 옵니까? 프론티어는 더 큰 기계가 아닙니다. 그것은 우리가 이미 가진 기계들을 감사하는 규율입니다.

쉽게 말하면

실험실 쥐를 매번 낫게 하는 신약이 있다고 상상해 보십시오. 아무도 그 증거만으로 그 약을 출시하지 않습니다. 먼저 그것이 왜 듣는지를 묻는 임상시험이 옵니다. 부작용을 통해 낫게 하는 화합물은 그 부작용이 없어지는 순간 실패하기 때문입니다(맞는 답, 틀린 이유). 그다음 라벨은 마케팅용 숫자가 아니라 실제 위험을 명시해야 하고, 의사는 언제 처방하지 말아야 하는지를 알아야 합니다(보정과 기권). 그다음은 공장의 질문입니다. 비커 안에서는 통하는 합성법이 백만 회분에서는 감당할 수 없을 수도 있고, 정반대의 비용을 지닌 두 가지 경쟁 생산 전략이 있습니다(규모). 마지막으로 임상시험 그 자체가 감사받습니다. 그것이 질병을 측정했습니까, 아니면 그저 쥐의 습성을 측정했습니까(벤치마크)? 5권은 1권부터 4권까지의 추론 시스템에 대해 실행되는 바로 그 규제 관문 전체입니다. 그 기계는 이미 작동합니다. 이 권은 그것을 믿을지, 그리고 그것을 돌리는 데 무엇이 드는지를 결정합니다.

이 권이 다루는 내용

5권은 아홉 부에 걸친 하나의 연속된 감사입니다. 각 부는 하나의 계측 도구를 짓고 하나의 질문에 답합니다:

부	주제	답하는 질문
I부 · 증명, 충실성, 신뢰	정당화와 Reiter의 히팅셋 트리; 소거로 검증된 충실성; 규칙 추출	어떤 답에 대한 가장 작고 정직한 이유는 무엇이며, 시스템이 들려주는 이야기는 그것이 실제로 사용한 이유입니까?
II부 · 식별 가능성과 추론 지름길	지름길 헤아리기; 정확도가 결코 의미를 보증하지 못하는 이유; rsbench의 개념-품질 계측 도구	모델이 틀린 이유로 완벽하게 옳을 수 있는 방법은 몇 가지이며, 훈련 전에 그 수를 헤아릴 수 있는가?
III부 · 보정, 불확실성, 기권	온도 스케일링과 ECE; Chow의 규칙과 위험-커버리지 곡선	신뢰도 숫자가 실제로 무언가를 의미하도록 만들 수 있는가, 그리고 시스템은 언제 답을 거부해야 하는가?
IV부 · 규모와 시스템	구체화 대 재작성; 배치화된 GPU 고정점; 작업-깊이 트릴레마	백만 개의 사실에서 폐쇄(closure)는 얼마나 비용이 드는가, 그리고 그것을 빠르게 계산하는 일은 무엇을 대가로 치르는가?
V부 · 신경 깊이: 사고 사슬과 강화학습	TC⁰ 천장; P를 회복하는 스크래치패드; 검증기 관문 강화학습	고정된 깊이의 트랜스포머는 왜 벽에 부딪히며, 디코딩 시점의 단계들과 검증기는 어떻게 그 깊이를 되사 오는가?
VI부 · 벤치마크와 평가	완전성을 넘어선 일곱 난이도 축; 스위트와 시뮬레이터; 함의 공백	벤치마크가 암기가 아니라 추론을 측정하려면 무엇을 다양화해야 하는가?
VII부 · SATORI 캡스톤	기호 어텐션; 하나의 연산자, 네 가지 성질; C1–C8 주장 행렬	하나의 격자 연산자가 두 고전적 추론기를 모두 정확히 실어 나를 수 있는가, 그리고 그 주장 가운데 어느 것이 증거 앞에서 살아남는가?
VIII부 · 연구의 활주로	G1–G8 공백; 사각지대와 첫걸음	이 분야의 지식은 정확히 어디서 멈추며, 그 선을 넘는 첫 번째 실험은 무엇인가?
IX부 · 평결	장부 전체	다섯 권을 거친 뒤, 신경-기호 AI의 정직한 현주소는 무엇인가?

이 권의 독자

이 권은 본격적인 연구를 향해 나아가는 대학원생, 곧 이 시리즈의 천장을 위해 쓰였습니다. 이 사다리가 지금까지 지어 온 모든 것, 곧 1권의 전방 연쇄기와 단일화, 2권의 EL++ TBox와 그 완결 규칙, 3권의 임베딩과 필터링된 순위 매기기 프로토콜, 4권의 가중 모델 계수, 경사 세미링, 질의 DAG를 이미 안다고 가정합니다. 그 밖의 어떤 것도 블랙박스로 등장하지 않습니다. 동반 스위트 examples/frontier/는 모든 계측 도구를 순수 NumPy로 구현하며, 그것을 계산하는 코드 줄 바로 위의 주석에 모든 경사를 손으로 유도해 두었고, 이전 권들의 기계 장치를 다시 입력하는 대신 그대로 가져와 씁니다. 그리고 validate.py로 봉인되어 있는데, 이는 커밋된 코드에 대해 19개의 역량 검사 중 19개가 모두 약 56초 만에 통과하는 인수 검증 하니스입니다. 모든 모듈은 자신의 난수 생성을 시드로 고정하므로, 모든 장에서 인용된 모든 숫자는 python3 <module>.py로 바이트 단위까지 동일하게 재현됩니다.

논지: 정확도는 의미도 배치 가능성도 보증하지 않는다

이 권 전체가 딛고 서 있는 확신은 다음과 같습니다. 시험 집합 점수는 아무리 높아도 출력에 대한 진술일 뿐이며, 신뢰와 규모는 그 점수가 볼 수 없는 모든 것에 대한 진술입니다. 이 권은 이를 두 번 정밀하게 만듭니다. 신뢰 쪽에서 그것은 헤아림의 사실입니다: 이 스위트의 가장 작은 개념-학습 세계에서, 위수 4의 대칭군은 손실이 전역 최적인 열여섯 개 지점 가운데 열다섯 개가 잘못 그라운딩된 개념으로부터 완벽한 과제 라벨을 내놓게 만들며, 따라서 완벽한 점수는 열여섯 번 중 한 번꼴로만 올바른 의미의 증거가 됩니다. 같은 눈멂은 불충실한 설명으로도 다시 나타나고(정확도 0.961인 분류기의 어텐션 이야기가 소거 검사에서 낙제합니다), 보정되지 않은 신뢰도로도 다시 나타납니다(어떤 지름길 모델이 과제 정확도 1.000을 개념 정확도 0.750 곁에, 그리고 기대 보정 오차 0.247과 함께 내겁니다). 규모 쪽에서 그것은 계산의 사실입니다: 510번의 순차적 파동으로 계산된 정답과 10번의 병렬 제곱으로 계산된 정답은 같은 답이지만, 총 작업량에서 10,270배 차이가 나며, 그 어느 비용도 정확성 증명 어디에도 나타나지 않습니다. 신뢰는 측정되어야 하고, 규모는 헤아려져야 합니다. 이 권의 모든 장은 둘 중 하나를 해내는 계측 도구를 짓고, 자신이 가져다 쓰는 정리(TC⁰ 포함 관계, #P-난해성, 지름길 헤아림의 결과들)를 출처와 함께 밝히되 그것을 다시 증명하는 척은 하지 않으며, 그 도구를 우리의 세계 위에서 돌립니다.

실행 예제, 다섯 번째로 다시 읽기

세계는 바뀌지 않습니다. 바뀌는 것은 읽는 방식입니다. 1권의 kb.py는 여전히 23개의 기본 사실과, 그 폐쇄가 세 번의 파동으로 완결되는 혼 규칙들을 담고 있습니다. 2권의 온톨로지는 여전히 EL++ TBox를 담고 있습니다. 3권의 kg.py는 여전히 그 분할과 순위 매기기 심판을 담고 있습니다. 4권의 스위트는 여전히 미분 가능한 기계 장치를 담고 있습니다. 다섯 번째 읽기는 그 모든 것에 계측 도구를 겨눕니다. 히팅셋 트리는 4개의 함의 위에서 7개의 최소 정당화 전부를 찾아내며, 이는 16,384개의 공리 부분집합 전체에 대한 무차별 대입과 대조되어 검증됩니다. 규칙 추출은 훈련된 가중치로부터 정답 합성 규칙 advises∘advises를 신뢰도 0.999로 읽어 내는 동시에, 세계에 대해 16번 중 8번만 옳은 편향된 네트워크로부터도 16개 중 16개가 충실한 추출을 보여 줍니다. 검증기 관문 선택기는 나머지에 대한 기권을 대가로 치르고서 질의의 92.9%에 답하되 오답은 하나도 내지 않습니다. 불 대수 행렬로 벡터화된 EL 고정점은 2권의 오라클과 칸 하나하나까지 일치하며, 하나의 쌓인 텐서 패스로 100개의 TBox 변형을 폐쇄합니다. 그리고 캡스톤의 단일 격자 연산자는 자신이 검증하도록 지어진 여덟 가지 주장과 마주하기에 앞서, 47개 중 47개의 혼 사실과 46개 중 46개의 EL 포섭(subsumption) 모두에서 두 고전적 오라클을 정확히 재현합니다. 하나의 작디작은 세계, 다섯 번의 읽기, 그리고 마지막 읽기가 바로 그 감사입니다.

하나의 학계 세계가 감사받고 있습니다: 왼쪽에는 신뢰 계측 도구들이, 오른쪽에는 규모 계측 도구들이, 위쪽에는 깊이 천장이 있으며, 그 아래에는 이 권의 아홉 부에 걸친 오름길이 펼쳐져 있고, 마지막에는 책을 넘어 독자 자신의 연구를 가리키는 화살표로 끝을 맺습니다. 저자가 AI의 도움을 받아 직접 제작한 원본 도해.

신뢰는 최소 증명에서 시작한다

I부는 신뢰가 반드시 시작해야 하는 자리에서 시작합니다: 검토할 수 있을 만큼 작은 이유들에서부터입니다. 정당화(justification)는 어떤 결론을 함의하는 공리들의 최소 집합이며, Reiter의 히팅셋 트리는 그것을 전부 열거하고, 보수(repair)는 그 쌍대 대상, 곧 원치 않는 함의를 확실히 죽이는 가장 작은 삭제입니다. 그다음 충실성은 학습된 시스템에 대한 더 어려운 질문을 던집니다: 설명은 그것이 가리키는 것을 제거했을 때 답도 함께 사라질 때만 정직하며, 소거 검사는 이를 정량화하여, 어텐션 가중치가 자신의 그래디언트가 뒷받침하지 않는 이야기를 들려주는, 정확도가 매우 높은 분류기를 잡아냅니다. 규칙 추출은 이 부에서 가장 날카로운 교훈으로 마무리합니다: 추출된 규칙은 네트워크에 대해서는 완벽하게 충실하면서도 세계에 대해서는 여전히 틀릴 수 있는데, 충실도와 진실이 서로 다른 측정이기 때문입니다.

틀린 이유로 옳음: 지름길의 수학

II부는 4권의 "틀린 이유로 옳음"이라는 관찰에 수학을 부여합니다. 추론 지름길(reasoning shortcut)이란 훈련 목적 함수는 만족시키면서도 잘못된 것을 의미하는 개념의 그라운딩이며, 그 깊은 결과는 지름길을 미리 헤아릴 수 있다는 것입니다: 라벨을 만들어 내는 과정의 대칭이 손실-동치인 최적점의 개수를 고정하며, 우리 세계의 위수-4 군은 열여섯 개의 최적점 가운데 열다섯 개를 잘못 그라운딩되게 만들고, 추가되는 모호성 해소 장치(재구성 항, 개념 라벨, 개입) 하나하나가 이론이 정확히 예측하는 배수만큼 궤도를 줄여 나갑니다. rsbench 장은 그 헤아림을 실천으로 옮겨, 개념-품질 계측 도구를 축소판으로 다시 지어서 어떤 과제 지표로도 구별할 수 없는 모델들을 갈라냅니다.

의미를 지닌 신뢰도, 그리고 아무 말도 하지 않을 권리

III부는 하류의 모든 소비자가 실제로 읽는 그 숫자, 곧 신뢰도를 고칩니다. 보정(calibration)은 0.9점을 받은 모든 답 가운데 약 열에 아홉이 실제로 옳을 것을 요구합니다. 기대 보정 오차(expected calibration error, ECE)는 그 미달분을 측정하며, 매개변수 하나짜리 수선책인 온도 스케일링(temperature scaling)은 정확도를 전혀 움직이지 않으면서도 우리 탐침의 ECE를 0.0245에서 0.0167로 낮춥니다. 그다음 기권은 불확실성을 행동으로 옮길 수 있게 만듭니다: Chow의 규칙은 답을 거부하는 것이 답하는 것을 이기는 때를 말해 주고, 위험-커버리지 곡선(risk-coverage curve)은 모든 기권 정책의 값을 매기며, 이 부의 결실은 검증기 관문 선택기입니다. 이는 기권과 기호적 검사기를 결합하여, 질의의 92.9%에 답하면서도 자신이 내놓는 답에서는 결코 틀리지 않는 시스템을 만듭니다.

폐쇄의 값: 규모

IV부는 학계 세계가 더 이상 작지 않게 되었을 때 무슨 일이 일어나는지를 묻습니다. 구체화(materialization)는 폐쇄를 한 번 계산해 두고 조회로 답하며, 재작성(rewriting)은 아무것도 저장하지 않고 질의가 들어올 때마다 그것을 펼칩니다. 이 스위트는 이 둘 모두를 SLD 오라클에 맞서 실행하고, 저장 공간을 헤아리며(47개 대 23개의 사실), 유지 관리 문제(DRed는 2개의 사실을 과잉 삭제한 뒤 정확히 1개를 다시 도출합니다)와 재작성이 실패하는 표현력의 벽을 짚어 나갑니다. GPU 장은 EL 고정점을 오라클과 칸 하나하나까지 일치하는 배치화된 불 행렬 곱셈으로 벡터화하며, 작업-깊이 장은 이 트릴레마를 정직하게 헤아립니다: 준순진(semi-naive) 평가가 510번의 파동을 필요로 하는 곳에서, 제곱은 512단계짜리 사슬을 10번의 행렬 곱셈으로 폐쇄하지만, 총 작업량에서 10,270배의 웃돈을 치릅니다.

깊이 천장, 그리고 깊이를 되사 오기

V부는 이 권에서 가장 깊이 가져다 쓰는 이론입니다. 고정된 깊이의 트랜스포머는 회로 복잡도 부류 TC⁰ 안에 들어가지만, 반복 합성 같은 문제는 증명 가능하게 그 안에 들어가지 않으므로, 굳은 천장이 존재합니다. 동반 코드는 그 정리를 다시 증명하지 않고 그 절벽을 측정합니다: 고정된 깊이의 네트워크가 이론이 예측하는 바로 그 길이에서 실패하는 것을, 그리고 깊이를 규모에 맞춰 늘린 대조군은 계속 따라가는 것을 지켜봅니다. 사고 사슬(chain-of-thought)은 그다음의 탈출구입니다: 디코딩된 단계 하나하나가 네트워크에 다시 들어가면서 깊이가 단계 수에 비례하게 되고, 스크래치패드 모델은 32단계까지 정확함을 유지하는 반면 그 고정된 쌍둥이는 5단계에서 절벽에 부딪힙니다. 검증기는 이 부를 마무리 짓습니다: 제안 정책에 관문을 씌운 기호적 검사기는 틀린 도출을 0.247에서 0으로 줄이고, 그 검증기를 보상 신호로 쓰면 정책의 정확한-증명 비율이 0.205에서 0.535로 올라갑니다.

계측 도구로서의 벤치마크

VI부는 평가 그 자체를 겨눕니다. 완전성은 난이도의 여러 축 가운데 하나일 뿐입니다. 이 스위트는 그 밖에도 일곱 개의 축을 각각 하나의 장치로 보여 주는데, 결코 포화되지 않는 체이스(chase)와, 같은 깊이에서도 증명 너비가 1,024개의 잎을 치르게 만드는 질의가 그 안에 있습니다. 스위트 장은 다섯 개의 계측 도구를 축소판 벤치마크 하니스로 조립하여, 커밋된 26개의 대표 숫자를 다시 유도하고 모든 축에서 정확도로는 구별되지 않는 모델 쌍들을 갈라냅니다. 함의-공백 장은 이 부의 평결 숫자를 내놓습니다: 자신의 시험 집합에서 98.96%를 받는 소프트 추론기는 확장과 바꿔 쓰기(paraphrase) 아래에서 각각 71.6%와 48.6%만큼만 논리적으로 일관되는 반면, 번역-후-증명 파이프라인은 자신이 파싱한 모든 것에서 100% 일관됩니다.

캡스톤: 하나의 연산자, 여덟 가지 주장

VII부는 이 시리즈를 이 책이 도는 궤도의 중심인 연구 프로그램 SATORI로 조립합니다: 추론을 기호 어텐션의 단 한 번의 섬광으로 보는 것이며, 1권의 혼 폐쇄와 2권의 EL 완결을 정확히 재현하는 하나의 격자 연산자로서, 주석의 건전성을 문턱값 τ까지 그대로 실어 나릅니다. 그런 다음 이 권은 다른 모든 것에 했던 일을 SATORI에도 똑같이 합니다: C1–C8 주장 행렬을 계측 도구 하나하나로 평가하여, 다섯 개의 주장은 커밋된 숫자로 장난감 규모에서 검증되었고, 세 개는 정직하게 인용-전용으로 표시되며, 증명된 것과 추측된 것 사이의 쐐기가 잉크로 또렷하게 그어집니다.

활주로와 평결

VIII부와 IX부는 이 시리즈를 앞을 내다보며 마무리합니다. 공백 장은 G1부터 G8까지 이름 붙이는데, 이는 이 분야의 지식이 실제로 멈추는 지점들이며, 각각은 그것을 검증할 계측 도구와 함께 반증 가능한 질문으로 서술됩니다. 방법론 장은 실무 연구자를 위한 체크리스트입니다: 이 권의 감사들이 계속 찾아내는 사각지대들과, 그 각각을 넘어서기 위해 실행할 첫 번째 실험입니다. 마지막 장은 이 시리즈 제목이 내건 약속을 이행합니다: 열정이 아니라 다섯 권 전체의 커밋된 증거로부터 논증된, 신경-기호 AI에 대한 정직한 평결입니다.

이 길이 이르는 곳

신뢰는 그것을 실어 나를 수 있는 가장 작은 대상에서 시작합니다: 낭비된 것이 하나도 없는 증명입니다. 첫 장인 정당화: 최소 증명과 핀포인팅은 정당화를 함의하는 공리들의 최소 집합으로 정의하고, 그 전부를 열거하기 위해 Reiter의 히팅셋 트리를 지으며, 그 열거가 올바름을 증명하고, 학계 세계 위에서 그것을 실행하여 4개의 함의 배후에 있는 7개의 최소 정당화를 모두 찾아내고, 그 열거를 16,384개의 부분집합에 대한 무차별 대입에 맞서 검증하며, 모든 보수를 추론기로 다시 검사합니다. 감사는 감사자 자신의 도구에서 시작합니다.