Thinking Before Thinking: Scaling Agentic Inference Through Meta-Reasoning
Abstractの概要
本論文では、長時間動作する言語モデルエージェントにおいてタスク実行と制御決定を分離する推論時制御フレームワークである、エージェント的メタ推論（agentic meta-reasoning）を提案します。コントローラはコンパクトな状態を維持し、永続的な成果物メモリの読み書きを行い、評価（assess）・提案（propose）・検証（evaluate）・配分（dispatch）の4段階サイクルを実行して次に行う計算を決定し、ワーカーがタスクレベルのアクションを実行します。著者らは生成される実行結果を成果物グラフとして形式化し、後続の作業が以前の出力をどのように再利用しているかを記録して、最終的な精度を超えた診断分析を可能にしています。Gemini 3.1 Pro、GPT-5.5、Opus 4.8を用い、IMO ProofBench-Advanced、ARC-AGI-2、LongCoT-mini、ProgramBenchにおいて本手法を評価し、直接制御や外部エージェントのベースラインと比較しています。
新規性
本研究の独自な貢献は、推論制御そのものを、蓄積される履歴に対する単一の次アクション決定ではなく、明示的かつ構造化されたエージェントプロセスにした点にあります。本フレームワークは、段階的なメタ制御、永続的な成果物メモリ、コンパクトなコントローラ状態、および成果物グラフ診断を組み合わせることで、決定ごとに実行履歴全体を再生することなくエージェントの挙動をスケーリングします。
成果
主に評価された計算予算において、メタ推論エージェントは直接制御エージェントとの12組の一致したモデル・ベンチマーク比較すべてで最も高い点推定値を達成し、ベンチマークに応じて平均3.6〜4.2ポイントの向上を示しました。ProgramBenchでは、GPT-5.5で71.5%（直接制御は63.7%、Codexは58.0%）、Opus 4.8で67.2%（直接制御は65.3%、Claude Codeは65.5%）を記録しました。分析により、メタ推論はより大きな予算を効果的に使用し、過去の作業の再利用を増やし、多くの設定で正解カバレッジを向上させることが示されましたが、余分な検討が小規模な予算では逆効果になる場合や、選択における利得が一様ではないことも示されています。
論文の注目点
- コントローラとワーカーの役割を分離し、コントローラがコンパクトな状態と永続メモリ上で評価・提案・検証・配分の各段階を実行します。
- 成果物グラフは、中間出力間の依存関係を表す実行時表現としてだけでなく、予算使用、再利用、カバレッジ、選択を分析する診断ツールとしても使用されます。
- 実証的に、本手法は推論およびコーディングのベンチマーク全体で性能を向上させ、直接制御が頭打ちになりがちな設定において、より大きな推論予算から継続的に恩恵を受けます。