論文の概要: VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence

• arxiv url: http://arxiv.org/abs/2605.20676v1
• Date: Wed, 20 May 2026 03:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.468434
• Title: VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence
• Title（参考訳）: VISTAQA: ビジュアル質問回答とPixel-Level Evidenceのベンチマーク
• Authors: Mozhgan Nasr Azadani, Yimu Wang, Yongpeng Zhu, Lihong Chen, Milan Ganai, Sean Sedwards, Marco Pavone, Krzysztof Czarnecki,
• Abstract要約: 既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。 本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。 GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
• 参考スコア（独自算出の注目度）: 26.0945130521806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Establishing a clear link between model predictions and the visual evidence that supports them is critical for transparency and reliability in multimodal reasoning, yet current multimodal large language model (MLLM) evaluations do not explicitly enforce this alignment. Existing benchmarks assess either textual answer correctness or pixel-level localization in isolation, leaving the coupling of reasoning and grounding an open challenge. We introduce VISTAQA, a comprehensive benchmark for joint evaluation of free-form answer correctness and pixel-level evidence grounding in visual question answering. VISTAQA comprises 1,157 expert-curated samples spanning six task types and six visual domains, ranging from direct perception to compositional and relational reasoning. VISTAQA requires models to not only answer correctly, but to also provide precise segmentation masks that support their answers. It also includes hallucination-aware examples where no valid visual evidence exists. To support this enhanced evaluation, we introduce GROVE, a unified evaluation metric that enforces joint correctness by combining textual accuracy and grounding quality via a per-sample geometric mean, ensuring neither dimension can compensate for deficiencies in the other. Comprehensive experiments across grounding-aware models and hybrid pipelines with general-purpose MLLMs reveal that even the strongest systems achieve limited performance under GROVE, highlighting a substantial gap between answer accuracy and visual evidence alignment.
• Abstract（参考訳）: モデル予測とそれらをサポートする視覚的証拠との明確なリンクを確立することは、マルチモーダル推論における透明性と信頼性にとって重要であるが、現在のマルチモーダル大言語モデル(MLLM)の評価は、このアライメントを明示的に強制するものではない。 既存のベンチマークでは、テキストによる回答の正当性または画素レベルの独立なローカライゼーションを評価し、推論の結合とオープンな課題の解決に残っています。 VISTAQAは,視覚的質問応答に基づく自由形式の回答の正しさと画素レベルの証拠を共同評価するための総合的なベンチマークである。 VISTAQAは、6つのタスクタイプと6つの視覚領域にまたがる1,157人の専門家によるキュレートされたサンプルで構成されている。 VISTAQAはモデルが正しく答えるだけでなく、その答えをサポートする正確なセグメンテーションマスクを提供する必要がある。 また、有効な視覚的証拠が存在しない幻覚を意識した例も含んでいる。 この拡張評価を支援するため,テキストの精度と接地品質をサンプルごとの幾何平均で組み合わせた統一評価指標であるGROVEを導入し,両次元が他方の欠点を補うことを保証した。 汎用MLLMを用いた基盤認識モデルとハイブリッドパイプラインの総合的な実験により、最強のシステムでさえGROVEで限られた性能を達成し、解答精度と視覚的エビデンスアライメントのかなりのギャップを浮き彫りにした。

関連論文リスト

• VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought [16.361394107862502]
  画像内の実際の視覚的証拠に、各推論ステップを明示的にリンクするVisual Grounding Chain-of-Thoughtデータセットを提案する。 パイプラインは、GPT-4oでステップバイステップのグラウンドド推論を生成し、合理的に駆動されるオープンセット検出プロセスを通じてグラウンドディングを洗練する。 LLaVA-1.5やQwen2-VLを含む代表的なLVLMによる実験は、ほとんどの評価指標に対して一貫した改善を示した。
  論文  参考訳（メタデータ） (2026-04-23T08:04:07Z)
• Benchmarking Deflection and Hallucination in Large Vision-Language Models [25.176271096443482]
  既存のベンチマークでは、視覚的証拠とテキスト的証拠の衝突を見落としている。 多様なマルチモーダル検索設定にまたがる2,775個のサンプルのベンチマークであるVLM-DeflectionBenchを紹介する。 私たちの結果は、モデルが知っていることだけでなく、そうでないときにどのように振る舞うかを評価する必要性を強調します。
  論文  参考訳（メタデータ） (2026-04-13T20:22:22Z)
• Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images [34.324634481264034]
  我々は、忠実な視覚的推論を評価するために設計されたプロセス検証可能なベンチマークであるViEBenchを提案する。 専門家による視覚的エビデンスを含む200個の高解像度画像を合成し、ViEBenchは難易度でタスクを知覚と推論の次元に分類する。 実験の結果,(1)VLMは無関係な領域に接するにもかかわらず,正しい最終回答を導き出すことができ,(2)正しい証拠を見つけることはできるが,正確な結論に至らなかった。
  論文  参考訳（メタデータ） (2026-01-14T07:25:15Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Draft and Refine with Visual Experts [18.983324604452118]
  LVLM(Large Vision-Language Models)は、視覚的証拠ではなく、言語的先行に強く依存しているため、根拠のない、あるいは幻覚的な応答を生成する。 本稿では,質問条件付き利用指標によって駆動されるエージェントフレームワークであるDraft and Refine(DnR)を提案する。
  論文  参考訳（メタデータ） (2025-11-14T06:50:14Z)
• ProtoVQA: An Adaptable Prototypical Framework for Explainable Fine-Grained Visual Question Answering [30.65960340061612]
  プロトタイプに基づくモデリングは意味論的意味のある領域における予測を基礎にすることで解釈可能性を示す。 本稿では,推論アンカーとして機能する質問認識型プロトタイプを学習する統合フレームワークであるProtoVQAを紹介する。 提案手法は,視覚言語的アライメントスコア (VLAS) を用いて, モデルに付随する領域が地中真実とどのように一致しているかを測るものである。
  論文  参考訳（メタデータ） (2025-09-20T13:12:08Z)
• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。