プロンプトエンジニアリングは終わった — これからは答えを読むエンジニアリングだ
同じ答えを受け取った二人
同じモデルに同じ質問を投げ、同じ答えを受け取った二人がいます。
一人はその答えを読んで、情報を得たと思います。もう一人は同じ答えを読んで、市場の空白を発見します。
差はモデルにありません。質問にもありません。答えをどう見るかにあります。
前回の文章で、私たちはLLMの本当の能力はドメイン交差にあり、ユーザーの質問がそれを活性化しなければならないと主張しました。8つの質問法を整理しました。しかし公開直後、ある読者が投げた質問が、その文章の次の章を開きました。
その読者は、8つの質問法の出典を尋ねました。私たちは正直に答えました。Kleinの1982年論文、Robinsonの1982年論文、Gentnerの1983年論文、Goffmanの1974年の本、Mungerが引用した19世紀の数学者Jacobi。8つのうち一つを除いて、すべてAI時代以前の資料でした。
するとその読者は答えを読み、一行を書きました。
「ほとんどAI以前のものですね。思ったより研究が進んでいなくて驚きました。多くの人はLLMを便利な検索エンジンとして使っているだけなのでしょうか。」
この一行が、この文章のすべてです。
答えの分布から市場が見える
その読者がしたことは単純でした。8つの出典を受け取り、それらの時代分布を見たのです。1974、1982、1983、2007、2013、2016、2023。一つの事実がすぐに現れました。8つのうち7つがAI以前だったのです。
これはどれか一つの出典の中にある情報ではありません。8つを重ねて読んで初めて見えるパターンです。そしてそのパターンは市場について何を語るのか。プロンプトエンジニアリングという領域には学術的な真空がある、ということです。AI資本の99%はモデル側に集中し、ユーザー側の道具は認知科学や意思決定論から輸入され、再配置されているだけです。この真空はビジネス機会です。カテゴリーを最初に名付けた者が、そのカテゴリーの最初の語り手になります。
このすべての洞察は、答えの分布から出てきました。答えそのものからではありません。
90 / 9 / 1
LLMユーザーの分布は、大まかに三つに分かれます。
90%は検索エンジンの代替として使います。 「Xとは何か」「Yはどうやるのか」。Googleがしていた仕事をLLMに委ねます。正確さは少し上がりますが、質的に異なる価値は生まれません。
9%は単一ドメインの補助者として使います。 コード作成、文章校正、翻訳。一つのドメインの中で時間を短縮します。意味はありますが、モデル能力の表面をなぞっているだけです。
1%はドメイン交差を活性化する道具として使います。 そして決定的に、答えをデータとして見ます。一つの答えを受け取って終わりではなく、答えの分布からメタパターンを抽出します。
この1%を分けるのはIQでも職業でもありません。習慣です。 答えを情報として見る習慣と、データとして見る習慣の差です。
答えを読む五つの方法
1. 分布の空白を見る
複数の答えを集めたとき、どの領域に答えがないのかを見ます。ドラッケンミラーが複数セクターの発表を同時に聞き、どの会社も明示していないマクロシグナルを抽出したのと同じ動作です。出典8つのうち7つがAI以前だという事実は、どの出典も明示していないパターンです。
2. 時代と権威の分布を読む
答えが引用した資料の時間分布、学問分布、権威分布を見ます。ある分野の答えがすべて50年前の資料なら、その分野は学術的に停滞しているか、真空があるという意味です。答えがすべて一つの学問から出ているなら、その領域では学際的な統合がまだ起きていないという意味です。
3. 自信の非対称を検知する
LLMはよく知っている領域では具体的に答え、知らない領域では曖昧に答えます。この非対称が、領域の密度地図を描きます。同じ質問を投げたとき、ある地点で急に答えが抽象化するなら、そこがデータや研究の真空です。つまり機会です。
4. 一貫性を交差検証する
同じ本質を別の角度から聞き直します。ビジネスの観点から一回、技術の観点から一回、歴史の観点から一回。安定している部分は固い事実で、揺れる部分はモデルが圧縮に自信を持てていない領域です。その揺れが、本当に質問すべき場所を教えてくれます。
5. 答えから次の質問を抽出する
これが最も重要です。答えを受け取ったら、その答えが前提にしていることと避けていることを見ます。答えはどんな仮定の上に立っているのか。どの可能性を扱わなかったのか。その仮定と回避が次の質問になります。一つの応答は終着点ではなく、より深い質問へ向かう発射台です。
この五つに共通する点は明確です。どれもモデルの新しい能力を要求しません。すべて、ユーザーの視線がどこに向いているかの問題です。
答えの不在が最大のシグナルである
投資において最も強いシグナルは、皆が見ているデータではなく、誰も見ていない空白です。同じ原理はLLMの使用にも当てはまります。
答えが豊富な領域は、すでに市場が大きい領域です。答えがない領域、答えが抽象的な領域、答えが50年前の資料に依存している領域。そこが真空であり、真空が機会です。
8つの出典がほとんどAI以前だったという事実が教えてくれたのは、まさにそれです。プロンプトエンジニアリングは学術的な真空領域です。 単著の本がありません。統合された学術コレクションもありません。この領域で最初に一冊の本を整理する人が、カテゴリーを占有します。
同じ答えが、ある人には情報であり、別の人には市場診断でした。
プロンプトエンジニアリングから答えを読むエンジニアリングへ
過去5年間、「プロンプトエンジニアリング」という言葉が市場を支配しました。どうすればより良い質問を投げられるか。これは明らかに価値のある領域でした。しかしモデルが急速に良くなるにつれ、プロンプトエンジニアリングの限界効用は下がっています。モデルは曖昧な質問にもますますうまく対応するようになっているからです。
次の5年の中心能力は別の場所にあります。同じ答えを受け取っても、ある人は情報を得て、別の人は市場構造を見る。 この差を作るのが、答えを読むエンジニアリングです。
質問法は、モデルの中に眠っているドメイン交差を活性化します。答えを読むことは、活性化された結果からメタパターンを抽出します。両者は一組です。活性化がなければ抽出する答えがなく、抽出がなければ活性化の価値は半分にとどまります。
LLM時代のユーザー能力は、こう再定義されます。
良いユーザーとは、良い質問を投げる人ではありません。答えの分布からパターンを読む人です。
だからメモリが重要になる
この文章が最後に到達する場所はメモリです。
答えを読むことは、本質的に答えを蓄積して見る行為です。一つの答えだけではパターンは見えません。複数の答えが積み重なって初めて分布が生まれます。しかし現在のLLMは、セッションが終わると答えが消えます。ユーザーは毎回答えを受け取りますが、それらを重ねて読むインフラを持っていません。
これが、メモリインフラが単なる便利機能ではない理由です。メモリは答えを保存するものではなく、答え同士のあいだのパターンを蓄積するものです。あるエージェントが見た答えを、別のエージェントが重ねて読めなければなりません。昨日の答えと今日の答えが同じ分布の上に置かれなければなりません。時間を横断して答えを読むことは、インフラなしには不可能です。
LLMユーザーの1%が自然にしていることを、システムレベルですべての人に可能にすること。それがメモリインフラの本当の意味です。
二人の差
最初に戻りましょう。同じ答えを受け取った二人がいます。一人は情報を得て、もう一人は市場を見ました。
この差は学習できます。モデルがさらに良くなる必要はありません。答えがより豊かになる必要もありません。必要なのは、答えを見る視線の転換だけです。
次にLLMに何かを尋ねて答えを受け取ったとき、その答えを読んで終わらないでください。その答えが何を語らなかったのか、どの時代の資料に依存しているのか、どの領域で急に抽象的になったのかを見てください。
答えの中には答えがあります。しかし答え同士のあいだには、市場があります。
---
この文章は「Linguistic Diversity and Emergence」と「ドラッケンミラーがLLMを使うなら」に続くシリーズ三本目です。最初の文章がLLM創発のメカニズムに関する仮説で、二本目がそのメカニズムを活性化する質問法だったとすれば、この文章は活性化された答えから何を読み取るかについてのマニュアルです。