コンテキスト窓を、仕事の単位にする

コンテキスト窓が業務単位に近づいた

2023年から2025年にかけて、主要モデルのコンテキスト窓は数千トークンから数十万トークン、一部は百万トークン級へと拡大した。この量的な変化は、ワークフロー設計の考え方を質的に変えつつある。

これまで、AIに何かを判断させるには、原資料を要約し、必要な部分だけを抜き出して渡すのが定石だった。数千トークンしか入らないのだから、当然の設計だ。しかし、一件の顧客案件の履歴、一回の会議録、契約書一式が、まるごと入る時代になると、この定石は前提から見直す必要が出てくる。

「要約からの再構成」から、「原資料そのもの」へ

要約を挟む設計には、二つの構造的な弱点がある。第一に、要約の段階で失われた情報は、後続の判断で復元できない。第二に、要約者（人間または前段のAI）の判断バイアスが、後段の判断に持ち越される。原資料そのものを判断者（AIまたは人間）に渡せば、これらの問題は解消する。

マイクロソフトリサーチと OpenAI が公表した長文タスクのベンチマーク結果は、80万トークン規模の文脈から的確に情報を取り出せるモデルが 2024 年に複数登場したことを示している。再利用ワークフローの設計でも、要約ステップを取り除ける箇所が見えてくる。

それでも「長い＝正確」ではない

もっとも、コンテキスト窓が広がれば無条件で判断の質が上がるわけではない。Liu et al. の “Lost in the Middle: How Language Models Use Long Contexts”（arXiv:2307.03172）は、長文コンテキストの中で情報の位置が結果に大きく影響することを実験的に示した。入力の先頭または末尾に置かれた情報は活用されやすく、中央に置かれた情報は無視されやすい。

この観察は、コンテキスト窓の使い方に設計上の含意を持つ。原資料をそのまま順序を気にせず投入する運用は、実は “lost in the middle” のリスクを負う。重要な事実は先頭または末尾に配置する、あるいは複数回参照させるといった対策が必要になる。

従来のRAGは死なない、役割が変わる

「コンテキスト窓が広がれば RAG (Retrieval-Augmented Generation) は不要になる」という議論も見かけるが、これは早計だ。数百万件の顧客履歴、数十年分の判例集を丸ごと窓に入れることは、コスト面でも遅延面でも現実的ではない。RAG は「窓に入る大きさまで情報を絞り込む」役割から、「窓の中でどの情報を優先的に前段に置くか」を決める役割へ、位置づけを変えつつある。

一方で、単純な埋め込み検索の必要性は薄れる。従来は「関連しそうな数十チャンクを引く」設計だったところが、「関連候補を数千チャンク引き、そのままモデルに渡して判断させる」設計にシフトする。人の判断介入のタイミングも、検索結果のレビューから、モデル出力のレビューへ移動する。

設計の書き直しは、業務単位から

コンテキスト窓の拡大に業務設計を追いつかせる作業は、抽象的なアーキテクチャ議論ではなく、業務単位から始めるのが実務的だ。「一件の顧客案件」「一回の営業商談」「一枚の請求書」が、そのままコンテキスト窓に収まる時代になった今、それらを分解して処理する既存の設計を、原資料単位で捉え直せる箇所を探す。すべてを書き直す必要はない。書き直せる箇所を一つずつ拾っていくところに、この技術的シフトの実効性がある。

参考

• Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. “Lost in the Middle: How Language Models Use Long Contexts.” arXiv:2307.03172, 2023.
• Anthropic. “Long context prompting for Claude 2.1.” engineering blog, 2023.