Planned Test-Time Scaling with Coordinated Reasoning Paths
Abstractの概要
本論文は、複数の推論ブランチを独立してサンプリングする代わりに協調させる、推論時スケーリングのためのフレームワークであるPlanned Test-Time Scaling (PTTS)を提案しています。PTTSは、相補的な推論パスをカバーすることを目的とし、プランナーを用いてブランチ固有の解答のアウトラインをまとめて生成し、エグゼキューターがそれらのアウトラインを条件として完全な解答を生成します。著者らは、PTTSが反復サンプリングを厳密に一般化し、モード崩壊や冗長な試行を軽減することでpass@kを向上させ得ることを理論的に示しています。また、ゼロショット版（PTTS-ZS）と強化学習で訓練されたプランナー（PTTS-RL）の両方を導入し、Qwen3-1.7Bおよび4Bモデルを用いて5つの数学的推論ベンチマークで評価を行っています。
新規性
主な貢献は、ブランチを独立したサンプルとして扱うのではなく、プランナーとエグゼキューターの分解を通じて、テスト時スケーリングを推論ブランチ間の協調的な結合方策として定式化した点です。また、結合プランニングがpass@kのカバレッジを向上させる理由を説明する理論的枠組みを提供し、切り詰められた実行ロールアウトを用いてpass@kの報酬で直接訓練されたプランナーを導入しています。
成果
5つの数学ベンチマーク全体で、PTTS-ZSは反復サンプリングと比較してpass@64を最大6.7ポイント向上させ、PTTS-RLはそのゲインを最大13.4ポイントまで増加させました。1.7Bおよび4Bの両モデルにおいて、PTTS-RLのpass@32は反復サンプリングのpass@64を上回り、サンプリングバジェットを半分に抑えながら同等以上の性能を達成しました。多様性の分析により、PTTSが解答全体の多様性を高め、PTTS-RLが正解の推論パス間における有用な多様性を大幅に向上させることが確認されました。
論文の注目点
- PTTSは、独立した反復サンプリングを、個別の解答アウトラインを用いて並列ブランチを協調させるプランナー・エグゼキューターの分解へと置き換えます。
- 理論的分析により、PTTSが反復サンプリングを厳密に一般化し、相補的な推論モード全体にバジェットを配分することでモード崩壊を回避できることが示されています。
- 5つの数学ベンチマークにおける実証的評価では、PTTS-ZSとPTTS-RLの双方が、反復サンプリングに対してpass@kおよび計算効率の大幅な向上を達成することが示されています。