REVES: REvision and VErification--Augmented Training for Test-Time Scaling
Abstractの概要
本論文は、段階的な修正によるテスト時スケーリングを研究し、標準的な単一試行の学習目的関数が多段階の推論ダイナミクスと合致していないことを論じています。著者らはテスト時スケーリングをメタ強化学習（RL）問題として定式化し、他の修正を利用する推論アルゴリズムにも転移可能な学習目標として、段階的修正能力の向上に焦点を当てています。そして、成功した復元軌道からのオンラインデータ・プロンプト拡張と、単一ターンのポリシー最適化を交互に行う2段階の反復フレームワークであるREVESを提案しています。この手法は、中間のニアミス回答を個別の修正・検証プロンプトに変換することで、長期的な複数ターンRLの計算負荷を軽減しつつ、修正行動とエラー識別の両方を向上させることを目的としています。
新規性
主な新規性は、段階的な修正の性能を状態ごとの1ステップ復元目標へと数学的に分解し、成功した軌道からの修正および検証プロンプトを反復的に拡張することでこれを運用可能にした学習フレームワークです。さらに、段階的な修正の学習が、類似の入力空間を共有し修正を利用する他のテスト時スケーリングアルゴリズムを本質的に改善するという転移性を理論的に証明しています。
成果
実験において、REVESは公開テストケースをフィードバックとして使用した場合、LiveCodeBenchにおいて単一試行RLベースラインを6.5ポイント、標準的な複数ターン学習を4.0ポイント上回りました。コーディング、数学、分布外のパズル制約にわたって一貫した段階的修正能力の向上を示し、大幅に小規模なQwen3-4Bモデルと少ないロールアウト数を使用しながら、大規模な進化的探索システムと並ぶサークルパッキングの最高記録に匹敵することに成功しました。
論文の注目点
- REVESは、中間のミスから抽出されて分離された修正・検証プロンプトを活用し、成功軌道に基づくデータ拡張と単一ターンRLを交互に行う。
- このフレームワークは、段階的な修正を状態ごとの1ステップ復元確率へと分解する理論に基づいて構築されており、より広範なテスト時スケーリング手法へ転移可能であることの証明を伴っている。
- 実験結果により、数学やコーディング、回路パッキング、論理パズルなどのベンチマークにわたる堅牢な改善が確認され、複数の異なるテスト時戦略の能力を効果的に押し上げている。
参考リンク
- arXiv: https://arxiv.org/abs/2606.18910v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.18910v1
- Hugging Face Papers: https://huggingface.co/papers/2606.18910
- GitHub: https://github.com/yxliu02/REVES.git