범용 AI의 망각은 합리적이다, 그러나 모든 도메인에 합리적이지는 않다

내가 쓰던 책의 목차가 38장에서 25장으로 줄어든 날, 함께 일하는 AI는 여전히 옛 38장 목차를 들고 있었다. 학술서에서 대중교양서로 포지셔닝이 바뀌었고, 7부 25장 체제가 새로 결정됐고, 한 줄 요약이 붙은 공식 목차가 자리를 잡았다. 그런데도 AI는 어느 장이 어디로 갔는지, 어떤 장이 합쳐졌고 어떤 부가 새로 생겼는지를 정확히는 알지 못했다.

새 목차를 명시적으로 메모리에 저장해달라고 요청했고, 저장됐다. 그때 AI가 한 답이 한참 나를 멈춰 세웠다. 자신의 명시적 메모리에는 옛 38장 목차가 직접 저장되어 있지 않았다는 것이었다. 그건 누적된 대화에서 자동으로 생성된 요약 메모리에 있던 정보고, 자동 메모리는 직접 덮어쓸 수 없으며, 시간이 지나며 새 대화 내용에 의해 점차 갱신된다. AI는 그렇게 솔직하게 짚어 주었다.

메모리는 두 층으로 작동한다

첫 번째 깨달음은 메모리가 두 층으로 작동한다는 점이었다.

한 층은 사용자가 명시적으로 "기억해줘"라고 핀 고정한 정보다. 이 층은 변하지 않는다. 사용자가 직접 지우거나 바꾸지 않는 한 그대로 남는다. 다른 한 층은 누적된 대화에서 자동으로 추출된 요약이다. 이 층은 다르게 작동한다. 새 대화에서 자주 호출되는 정보는 또렷하게 유지되지만, 시간이 지나면서 불리워지지 않으면 조금씩 망각된다.

이건 합리적인 설계다. 범용 챗봇은 수많은 사용자와 끝없는 대화를 다룬다. 모든 정보를 영구히 핀 고정하면 컨텍스트가 폭발한다. 자주 호출되는 정보를 살리고 그렇지 않은 정보를 점차 약화시키는 방식은, 자원 제약 안에서 가장 자연스러운 해법이다. 인간의 기억도 비슷한 방식으로 작동한다고 알려져 있다.

문제는 다른 곳에 있었다.

망각의 비대칭

내가 명시적으로 핀 고정한 정보 외의 모든 것은 자동 망각의 대상이다. 그런데 사용자는 자기가 무엇을 핀 고정했고 무엇을 안 했는지를 정확히 기억하지 못한다.

책 목차를 바꿨을 때 나는 "이건 명시적으로 저장해야겠다"는 판단을 따로 한 적이 없었다. 그냥 대화에서 새 목차를 정리하다 보니 자연스럽게 누적되었을 뿐이다. 그 누적이 자동 메모리에 들어갔는지, 들어갔다면 얼마나 또렷한 신호로 들어갔는지, 다음 세션에서 호출될 만큼 강한 흔적인지를 나는 알 수 없었다.

이 비대칭의 위험은 환각의 위험과 결이 다르다. 환각은 사실관계가 틀린 답이다. 알아채면 바로잡을 수 있다. 그러나 AI가 옛 정보를 들고 자신감 있게 답하는 상태는 다르다. 그건 사실관계가 틀린 게 아니라, 과거에는 진실이었으나 지금은 더 이상 진실이 아닌 답이다. 사용자 본인이 정보를 갱신했다는 사실을 잊고 있으면, 알아챌 단서조차 없다.

지식 노동자에게 이건 작지 않은 문제다. 책을 18개월 쓰는 작가, 환자 한 명을 10년 보는 의사, 사건 하나를 3년 다루는 법률가, 제품 하나를 5년 만드는 창업가. 이들에게 "어제까지 진실이었지만 오늘은 다르다"는 정보 갱신은 일상이다.

사용자 시점에서 다시 만난 설계 결정

지난 한 해 동안 나는 메모리 인프라를 만들어왔다. 그 안의 엔진은 몇 가지 설계 법칙 위에 서 있는데, 그중 하나는 단순하다. 한 번 저장된 정보는 지우지 않고, 순서를 바꾸지 않고, 유사도 신호 외의 임의 가중치를 넣지 않는다. 이 법칙은 long-context recall 벤치마크에서 무엇이 기억의 신뢰성을 무너뜨리는지를 반복해서 본 끝에 도달한 결론이었다.

그런데 이번 일은 그 설계 결정을 사용자 시점에서 다시 만나게 했다. 이론으로 알고 있던 것을 실제 작업의 부드러운 충격으로 다시 확인하는 일이었다. 메모리가 시간이 지나며 조용히 약해지는 시스템 안에서 작업하는 것은, 발 밑이 미세하게 가라앉는 모래 위에 집을 짓는 일과 비슷하다. 가라앉는 속도가 충분히 느리면 무너지는 순간까지는 모를 수 있다. 그러나 18개월짜리 책 한 권을 쓰는 동안에는 분명히 가라앉는다.

자리 구분

오해를 막기 위해 분명히 짚어 둔다. 범용 AI의 망각 설계가 틀렸다는 말이 아니다.

범용 챗봇에게 모든 사용자 정보를 영구히 핀 고정하라고 요구하는 건 비합리적이다. 자원 제약 안에서 가장 자주 호출되는 정보를 살리는 결정은 옳다. 그 자리에서 그 결정은 맞다.

그러나 모든 도메인에서 그 결정이 맞는 건 아니다. 장기 누적이 작업의 본질인 도메인에서는, 망각이 합리적 자원 절약이 아니라 작업 자체를 흔드는 변수가 된다. 그런 도메인을 위한 메모리는 다른 모델로 설계되어야 한다. 절대 지우지 않고, 사용자가 갱신 의도를 명시할 때까지는 모든 정보를 동등한 무게로 유지하고, 갱신이 있을 때는 그 갱신을 자동으로 흡수하기보다 사용자가 통제할 수 있는 형태로 다루는 모델. 그 자리가 우리가 짓고 있는 인프라의 자리다.

이건 범용 AI에 대한 비판이 아니라 자리 구분이다. 두 시스템은 다른 문제를 푼다.

마지막으로 남는 것

AI가 점점 더 많은 일을 가져갈수록, 사용자가 잃기 쉬운 능력이 하나 있다. 자기 정보가 어떤 상태에 있는지를 아는 능력이다. 무엇이 저장됐고 무엇이 망각되고 있는지, 어느 정보가 옛 버전이고 어느 게 갱신본인지, 어떤 사실은 핀 고정해야 하고 어떤 건 흘러가도 좋은지.

이걸 메모리 거버넌스라 부를 수 있을 것이다. 도구가 정교해질수록 사고의 많은 부분은 도구에 맡길 수 있어도, 메모리 거버넌스는 사람에게 남는다. 어쩌면 이게 AI 시대에 메타 인지가 인간 쪽에 마지막으로 남는 자리 중 하나일지 모른다.

지금 쓰고 있는 책의 한 장에서 이 주제를 다시 다룰 예정이다. 이번 일은 그 장을 사용자 시점에서 한 번 더 확인하게 해 주었다.