Context Language Models
Abstractの概要
本論文では、実行中のコンテキストを追記専用で拡張するのではなく、モデルが直接編集可能なファイルとして表現することで、コンテキスト管理をモデル本来のネイティブな能力とするContext Language Models（CLM）を提案しています。本研究は、このように制限なくモデルが主導してコンテキストを編集可能にすることで、固定されたハーネスのポリシーや事前定義されたコンテキスト管理アクションよりも適応性の高い戦略が可能になると主張しています。著者らは、診断的なコンテキスト管理タスク、コーディングおよびディープリサーチのベンチマーク、リポジトリ最適化や数学的探索問題を含む長期的なオープンディスカバリー環境において、ゼロショットCLMの評価を行っています。さらに、自然言語によるステアリング、テキストスキルの進化、強化学習、およびSuffix Cache Reuseと呼ばれるサービング最適化を通じて、CLMの性能を向上できることも示しています。
新規性
本研究の際立った貢献は、手作業で設計された要約・検索・圧縮ツールに依存するのではなく、制限のない更新が可能な編集可能なコンテキストファイルを介して、コンテキスト管理自体を言語モデルのアクション空間の一部として再構成した点にあります。また、この概念を学習とサービングにも拡張しており、CLMはインコンテキストでの進化や強化学習を通じてより優れたコンテキスト戦略を獲得でき、そのサービング基盤は接頭辞を保持しない編集をより効率的に処理するSuffix Cache Reuseと協調設計されています。
成果
複数の評価において、ゼロショットCLMは強力なコンテキスト管理ベースラインを上回るか同等の性能を達成しつつ、多くの場合でより少ない計算量を実現しており、BrowseComp-Plusでの高精度化、TerminalBench 2.1におけるより少ないFLOPsでの同等性能、EdgeBenchおよびマルチリポジトリ最適化の成果向上が確認されました。数学的最適化タスクにおいて、CLMは比較されたワークフローの中で最良のbest-of-runスコアを達成しています。また、強化学習によりQwen3.5-9B CLMのBrowseComp-Plusにおけるスコアが28.8%から42.5%へと向上し、Suffix Cache Reuseにより同等性能で標準的なSGLangと比較してサーバー側計算量が35%削減されたことも報告されています。
論文の注目点
- CLMは実行中のコンテキストを編集可能なファイルとして扱い、長い軌跡にわたって何を保持・書き換え・削除するかをモデル自身が直接制御できるようにする。
- ゼロショット評価において、CLMはディープリサーチ、コーディング、オープンディスカバリーの各タスクでハーネスベースやアクションベースのベースラインを上回るか同等の成果を上げつつ、多くの場合でプレフィックス再利用FLOPsを削減する。
- 本フレームワークは、自然言語ステアリング、テキストスキルの進化、強化学習、およびコンテキスト編集後の効率的なサービングを実現するSuffix Cache Reuseによるさらなる性能向上をサポートする。