When to Rethink: Learning Multi-Perspective Self-Verification for Vision-Language Models
Abstractの概要
本論文は視覚言語モデル（VLM）における自己検証を研究し、モデルが現在の回答を信頼すべきタイミングと再考すべきタイミングに焦点を当てています。著者らはまず、検証の信頼性に影響を与える2つの要因として検証器の能力とプロンプト設計を分析しました。これらの知見に基づき、5つの相補的な直接検証プロンプトを介して候補回答を評価し、正解性と整合させた集約信頼性スコアを学習して採択または再考の決定を下すマルチビュー自己検証フレームワーク「MOTIVE」を提案しています。5つのマルチモーダル質問応答ベンチマークと3つのVLMバックボーンを用いた実験により、本手法が回答品質と検証駆動型推論の信頼性の双方を向上させることが示されました。
新規性
本論文の主な新規性は、単一の検証基準に依存する代わりにプロンプトに基づく複数の検証視点を集約する、VLM向けの学習型マルチビュー自己検証フレームワークを提案した点です。外部の判定器を必要とすることなく、ビューレベル、集約レベル、およびキャリブレーションの各目的関数を用いて集約信頼性スコアを明示的に学習し、選択的な再考を実行させます。
成果
5つのベンチマークと3つのバックボーン全体において、MOTIVEは一貫して最も高い平均精度を達成し、プロンプトベースの自己検証ベースラインやマルチモーダル自己改善手法を上回りました。また、自己検証精度（Self-Verification Accuracy）によって測定される採択・再考の決定品質を向上させ、最大3ターンの予算条件下で平均推論ターン数を削減しました。
論文の注目点
- 事前分析により、検証の質は検証器の能力に依存し、プロンプト設計に対して極めて敏感であること、そしてタスク横断で一貫して優勢な単一プロンプトは存在しないことが示されました。
- MOTIVEは5つの直接検証ビューを組み合わせてYES確率を平均化し、その信頼性推定値を候補回答の正解性に整合するよう学習して選択的な再考を行います。
- 実証研究とアブレーションにより、検証ビューの多様性、マルチレベルの損失監視、および確信度を維持する確率平均化が、最終精度の向上と決定信頼性の改善に寄与することが示されました。