VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning
Abstractの概要
VeriFineは、ポリシー、トレーニングカリキュラム、および判定器（judge）を共進化させることで、身体性推論における検証をスケーリングするエージェントハーネスフレームワークとして提案されています。本フレームワークは、参照回答を用いないルーブリック判定器を使用して反復する失敗を診断し学習データを適応させる「ポリシー改善ループ」と、検証がボトルネックになった際に作動し協働的キャリブレーションを通じて人間のガイダンスを選択的に取り入れる「判定器改善ループ」を結合しています。本論文では、空間的グラウンディング、因果推論、安全性に配慮した決定を評価で考慮する必要がある自動運転およびロボットナビゲーションを対象に、身体性設定での検証を行っています。自動運転における強化学習ファインチューニングとナビゲーションにおける教師ありファインチューニングの双方で実験が報告されており、ラウンドを通じてポリシーの品質と判定器の能力が継続的に向上することが示されています。
新規性
主な貢献は、検証を静的な評価器としてではなく動的に共進化するプロセスとして扱い、ポリシー、カリキュラム、判定器を明示的に連動して更新する点にあります。本フレームワークは、物理的コンテキストから自由形式の身体性推論を直接評価する参照不要のルーブリック判定器を導入し、選択的な人間への問い合わせと協働的キャリブレーションを通じて検証を洗練させます。
成果
自動運転推論において、固定された参照ベースの評価器によるポリシースコアは3ラウンドで60.56から71.61へと向上し（相対的に18.2%の改善）、蒸留された生徒判定器は人間との相関0.82、MAE 0.17を達成しました。6つの候補から選択するテスト時候補選択において、進化させた判定器が選んだ出力は人間評価による推論スコア78.6を記録しました。ロボットナビゲーションでは、ポリシーの推論スコアが68.09から77.59へと向上し（14%の増加）、判定器と人間の相関は0.85に近づきました。
論文の注目点
- 本フレームワークは、失敗駆動のカリキュラム選択と最適化を行うポリシー改善ループと、進捗が停滞した際に人間との協働的キャリブレーションを通じて検証を洗練させる判定器改善ループの、2つの結合したループによって機能します。
- 人間が作成した参照回答に依存するのではなく、物理的コンテキストから構造化された診断スコアを直接生成する参照不要のルーブリック判定器が主要な検証基盤として機能します。
- 実証評価により、自動運転の強化学習ファインチューニングおよびロボットナビゲーションの教師ありファインチューニングにおいて、ポリシー性能と判定器のアライメントの持続的な向上、ならびにテスト時候補選択での改善が確認されています。
参考リンク
- arXiv: https://arxiv.org/abs/2610.08761v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.08761v1
- Hugging Face Papers: https://huggingface.co/papers/2610.08761