Visual Credit Audit for Multimodal Spatial Reasoning
Abstractの概要
本論文は、テキストのみや空白のコントロール入力よりも、ベンチマーク画像がモデルの回答を実際にサポートしているかどうかを判定する、マルチモーダル空間推論向けの意思決定レベル評価フレームワークであるVisual Credit Audit（VCA）を提案している。VCAは、学習不要かつラベル不要のサポート監査を用いて、相対的な画像サポートを文脈特有の関係応答性から分離する。正解ラベルを適用することで、このフレームワークは依存信用正答率（D-CC）を算出し、言語的またはデータセットの事前知識に過剰依存しているモデルを特定する。この監査手法は、画像置換、制御された根拠ソース要因テスト、および人間の監査による画像編集によって拡張されたVSRおよびGSR-COCOベンチマークを使用し、4つのオープンなマルチモーダル大規模言語モデル上で評価された。
新規性
主な新規性は、単なるベンチマークの総合精度や単純な画像なしの反実仮想を超えて、限界的な画像サポートの優位性と、関係性が一致した視覚的応答とを明示的に分離する2軸の評価フレームワークである点である。このフレームワークは、モデルの宣言した決定に対してラベル不要のサポート監査を行う点で際立っており、これにより精度を「信用付き正解」「信用なし正解」および「サポート優位なエラー」へと完全に分解することが可能になる。
成果
4つのマルチモーダル大規模言語モデルと2つの空間ベンチマーク全体で、12.73%〜26.25%の決定が正解であるものの「信用なし」と判定され、名目上の精度と画像でサポートされた正答率との間に少なからぬギャップがあることが明らかになった。決定論的に一致させた同スプリット画像置換により、すべての実行において依存信用正答率が21.25〜47.80ポイント低下した。制御された根拠ソース起因のテストでは、正解だが信用なしの項目のうち、視覚的関係の反転に対する方向性のある応答が81.57%〜100.00%の範囲であり、32.11%は二値の回答を完全に変更したことが示された。
論文の注目点
- Visual Credit Audit（VCA）は、限界的な画像サポートと関係特有の視覚的応答性を分離し、空間推論においてこれらを明確に異なる評価特性として確立する。
- この監査により、正解だが信用なしのモデル決定（12.73%〜26.25%）が大量に存在することが明らかになり、標準的な精度指標ではベンチマーク画像による強力なサポートを必要とせずに成功とみなすことが多いことが示された。
- 一致させた画像置換、ピクセル固定の関係対比、および独立して監査された108件の編集を用いた追加分析により、ベースラインの画像なしコントロールでは見逃されていた関係応答性の挙動をVCAが適切に捉えていることが確認された。