프롬프트 엔지니어링은 끝났다 — 이제는 답 읽기 엔지니어링이다

같은 답을 받은 두 사람

같은 모델에게 같은 질문을 던지고, 같은 답을 받은 두 사람이 있다.

한 사람은 답을 읽고 정보를 얻었다고 생각한다. 다른 사람은 같은 답을 읽고 시장의 빈틈을 발견한다.

차이는 모델에 있지 않다. 질문에도 있지 않다. 답을 어떻게 보느냐에 있다.

지난 글에서 우리는 LLM의 진짜 능력은 도메인 교차에 있고, 사용자의 질문이 그것을 활성화시켜야 한다고 주장했다. 8가지 질문법을 정리했다. 그러나 글을 발행한 직후 한 독자가 던진 질문이 그 글의 다음 장을 열었다.

그 독자는 8가지 질문법의 출처를 물었다. 우리는 정직하게 답했다 — Klein의 1982년 논문, Robinson의 1982년 논문, Gentner의 1983년 논문, Goffman의 1974년 책, Munger가 인용한 19세기 수학자 Jacobi. 8개 중 하나만 빼고 모두 AI 시대 이전의 자료였다.

그러자 그 독자가 답을 읽고 한 줄을 적었다.

"거의 다 AI 이전 글이네. 생각보다 연구가 별로 이뤄지지 않아서 놀랐다. 대부분 LLM을 편리한 검색엔진으로 쓰고 있는 건가?"

이 한 줄이 이 글의 전부다.

답의 분포에서 시장이 보인다

그 독자가 한 일은 단순했다. 8개 출처를 받고, 그것들의 시대 분포를 보았다. 1974, 1982, 1983, 2007, 2013, 2016, 2023. 한 가지 사실이 즉각 드러났다 — 8개 중 7개가 AI 이전이다.

이건 어느 한 출처 안에 들어있는 정보가 아니다. 8개를 겹쳐 읽어야만 보이는 패턴이다. 그리고 그 패턴이 시장에 대해 무엇을 말하는가 — 프롬프트 엔지니어링이라는 영역에 학술적 진공이 있다. AI 자본의 99%가 모델 측에 쏠려 있고, 사용자 측 도구는 인지과학과 의사결정학에서 수입되어 재배치되고 있을 뿐이다. 이 진공은 비즈니스 기회다. 카테고리를 먼저 명명하는 자가 그 카테고리의 첫 화자가 된다.

이 모든 통찰이 — 답의 분포에서 나왔다. 답 자체에서가 아니라.

90 / 9 / 1

LLM 사용자의 분포는 거칠게 셋으로 갈린다.

90%는 검색엔진 대체로 쓴다. "X가 뭐야?" "Y 어떻게 해?" Google이 했을 일을 LLM에게 위임한다. 답의 정확도는 약간 좋아지지만 질적으로 다른 가치는 발생하지 않는다.

9%는 단일 도메인 보조자로 쓴다. 코드 작성, 글 교정, 번역. 한 도메인 안에서 시간을 단축한다. 의미 있지만 모델 능력의 표면만 긁는다.

1%는 도메인 교차 활성화 도구로 쓴다. 그리고 결정적으로 — 답을 데이터로 본다. 답 하나를 받으면 거기서 끝이 아니라, 답들의 분포에서 메타 패턴을 추출한다.

이 1%를 가르는 건 IQ도 아니고 직업도 아니다. 습관이다. 답을 정보로 보는 습관과 데이터로 보는 습관의 차이.

답을 읽는 다섯 가지 방식

1. 분포의 빈 공간 보기

여러 답을 모았을 때 어느 영역에도 답이 없는가를 본다. 드러켄밀러가 여러 섹터의 발표를 동시에 듣고 어느 회사도 명시적으로 말하지 않은 매크로 시그널을 추출했던 것과 같은 동작이다. 출처 8개 중 7개가 AI 이전이라는 사실은 어느 한 출처도 명시하지 않은 패턴이다.

2. 시대와 권위의 분포 읽기

답이 인용한 자료들의 시간 분포, 학문 분포, 권위 분포를 본다. 한 분야의 답이 모두 50년 전 자료라면 그 분야는 학술적으로 정체되어 있거나 진공이 있다는 뜻이다. 답이 모두 한 학문에서만 나오면 그 영역은 학제간 통합이 일어나지 않은 상태라는 뜻이다.

3. 자신감의 비대칭 감지

LLM은 잘 아는 영역에서는 구체적으로 답하고, 모르는 영역에서는 두루뭉술하게 답한다. 이 비대칭이 영역의 밀도 지도를 그려준다. 같은 질문을 던지고 답이 갑자기 추상화되는 지점이 있다면 거기가 데이터/연구의 진공이다 — 다시 말해 기회다.

4. 일관성 교차 검증

같은 본질을 다른 각도에서 다시 물어본다. 한 번은 비즈니스 관점에서, 한 번은 기술 관점에서, 한 번은 역사 관점에서. 일관된 부분은 단단한 사실이고, 흔들리는 부분은 모델이 압축에 자신 없는 영역이다. 그 흔들림이 진짜 질문해야 할 곳을 알려준다.

5. 답에서 다음 질문 추출

이게 가장 중요하다. 답을 받으면 그 답이 전제하고 있는 것과 회피하고 있는 것을 본다. 답이 어떤 가정을 깔고 있는가? 답이 어느 가능성을 다루지 않았는가? 그 가정과 회피가 다음 질문이 된다. 한 번의 응답이 종착점이 아니라 더 깊은 질문을 향한 발사대가 된다.

이 다섯 가지의 공통점은 분명하다. 어느 것도 모델의 새 능력을 요구하지 않는다. 모두 사용자의 시선이 어디를 향하느냐에 관한 것이다.

답의 부재가 가장 큰 신호다

투자에서 가장 강력한 시그널은 모두가 보는 데이터가 아니라 아무도 보지 않는 빈 공간이다. 같은 원리가 LLM 사용에도 적용된다.

답이 풍부한 영역은 이미 시장이 큰 영역이다. 답이 없는 영역, 답이 추상적인 영역, 답이 50년 전 자료에 의존하는 영역 — 이런 곳들이 진공이고, 진공이 곧 기회다.

8개 출처가 거의 다 AI 이전이라는 사실이 알려준 것이 정확히 그것이다. 프롬프트 엔지니어링은 학술적 진공 영역이다. 단행본 한 권이 없다. 통합된 학술 컬렉션이 없다. 이 영역에 처음으로 책 한 권을 정리하는 사람이 카테고리를 점유한다.

같은 답이 누구에게는 정보였고 누구에게는 시장 진단이었다.

프롬프트 엔지니어링에서 답 읽기 엔지니어링으로

지난 5년간 "프롬프트 엔지니어링"이라는 말이 시장을 지배했다. 어떻게 더 좋은 질문을 던질 것인가. 이건 분명히 가치 있는 영역이었다. 그러나 모델이 빠르게 좋아지면서 프롬프트 엔지니어링의 한계 효용은 점점 줄어들고 있다. 모델이 두루뭉술한 질문도 점점 잘 처리하기 때문이다.

다음 5년의 핵심 능력은 다른 곳에 있다. 같은 답을 받고도 누구는 정보를 얻고 누구는 시장 구조를 본다. 이 차이를 만드는 것이 답 읽기 엔지니어링이다.

질문법은 모델 안에 잠든 도메인 교차를 활성화시킨다. 답 읽기는 활성화된 결과에서 메타 패턴을 추출한다. 둘은 한 쌍이다. 활성화 없이는 추출할 답이 없고, 추출 없이는 활성화의 가치가 절반에 머문다.

LLM 시대의 사용자 능력은 이렇게 다시 정의된다.

좋은 사용자는 좋은 질문을 던지는 사람이 아니다. 답의 분포에서 패턴을 읽는 사람이다.

그래서 메모리가 중요하다

이 글이 도착하는 마지막 지점은 메모리다.

답 읽기는 본질적으로 답들을 누적해서 보는 행위다. 한 답으로는 패턴이 보이지 않는다. 여러 답이 쌓여야 분포가 생긴다. 그런데 현재의 LLM은 세션이 끝나면 답이 사라진다. 사용자는 매번 답을 받지만 답들을 겹쳐 읽을 인프라가 없다.

이게 메모리 인프라가 단순한 편의 기능이 아닌 이유다. 메모리는 답을 저장하는 게 아니라 답들 사이의 패턴을 누적하는 것이다. 한 에이전트가 본 답을 다른 에이전트가 겹쳐 읽을 수 있어야 한다. 어제의 답과 오늘의 답이 같은 분포 위에 놓여야 한다. 시간을 가로질러 답을 읽는 일은 인프라 없이는 불가능하다.

LLM 사용자 1%가 자연스럽게 하는 일을 시스템 레벨에서 모두에게 가능하게 만드는 것 — 이것이 메모리 인프라의 진짜 의미다.

두 사람의 차이

다시 처음으로 돌아가자. 같은 답을 받은 두 사람이 있다. 한 사람은 정보를 얻었고, 다른 사람은 시장을 보았다.

이 차이는 학습할 수 있다. 모델이 더 좋아질 필요가 없다. 답이 더 풍부해질 필요도 없다. 필요한 것은 답을 보는 시선의 전환뿐이다.

당신이 다음에 LLM에게 무언가를 묻고 답을 받았을 때 — 답을 읽고 끝내지 말기를. 그 답이 무엇을 말하지 않았는지, 어느 시대의 자료에 의존했는지, 어느 영역에서 갑자기 추상적이 되었는지를 보기를.

답 안에는 답이 있다. 그러나 답들 사이에는 시장이 있다.

---

이 글은 "Linguistic Diversity and Emergence"와 "드러켄밀러가 LLM을 쓴다면"에 이은 시리즈의 세 번째 글입니다. 첫 글이 LLM 창발의 메커니즘에 관한 가설이었고, 두 번째 글이 그 메커니즘을 활성화하는 질문법이었다면, 이 글은 활성화된 답에서 무엇을 읽어낼 것인가에 관한 매뉴얼입니다.