VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct
Abstractの概要
本論文は、マルチモーダルな数学的推論のための反復的フレームワークであるVeriEvolを提案している。このフレームワークは、画像に基づいた数学プロンプトの難易度を上げることと、訓練に使用する前に回答ラベルの信頼性を確保することという、2つのスケーリング問題を分離している。このシステムは、シードとなる画像と質問のペアをより難易度の高いプロンプトに書き換える型認識型のプロンプト進化と、ソルバー間の不一致、プログラムによる推論チェック、および視覚的証拠を用いて候補となる回答を反証しようと試みるオフラインの仮説検定検証器であるHTV-Agentを組み合わせている。検証された出力は、教師あり微調整（SFT）とGRPOスタイルの強化学習データの両方として具現化されるため、下流のオプティマイザーを変更することなく本フレームワークを使用できる。実験では5つの視覚的数学ベンチマークに焦点を当て、最終的な性能に加え、SFTおよびRLデータの量が増加した際の性能推移を分析している。
新規性
主な独自の特徴は、マルチモーダルなRL（強化学習）データ構築を、ポリシー最適化の前にプロンプトの進化と回答の検証が切り離された検証可能なパイプラインとして枠組み化した点である。特に本論文は、ラベルが最初から正しいと仮定したり、RLループの中だけで信頼性を修正しようとするのではなく、HTV-Agentを介したオフラインでの回答の反証プロセスを強調している。
成果
5つのベンチマークスイートにおいて、進化したSFTデータを1万サンプルから25万サンプルへとスケールアップすると、平均精度は35.42から54.73に向上することが示された。バックボーン、SFTの初期化、GRPOのレシピを固定した場合、完全なRLパイプラインにより平均値はRL-Originの55.24から59.12へと改善し、累積で3.88ポイントの向上が見られ、進化したプロンプトと検証器の両方がこの向上に貢献していることが報告されている。また、論文では検証済みのRLデータを1万から13万サンプルにスケールアップした際に単調な性能向上が見られることも報告しており、MathVerse-VOにおける外部比較で最も強力な結果を示している。
論文の注目点
- VeriEvolは、ルート固有の進化とHTV-Agent検証パイプラインを通じて、プロンプトの難易度スケーリングと回答の信頼性制御を分離している。
- この手法は、教師あり学習データと強化学習データの両方のデータ量において単調なスケーリング傾向を示しており、データプールが拡大しても構築されたデータが有用であり続けることを示唆している。
- 実証実験において、完全なシステムはRL設定の5つのベンチマークすべてで内部ベースラインを上回り、MathVerse-VOのような画像依存度の高い評価において特に強力な性能を示す。