論文の概要: When Does an Image Determine the Answer? Benchmarking Visual Answerability across Charts and Scenes
- arxiv url: http://arxiv.org/abs/2609.34480v1
- Date: Mon, 28 Sep 2026 07:33:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 13:13:14.834309
- Title: When Does an Image Determine the Answer? Benchmarking Visual Answerability across Charts and Scenes
- Title（参考訳）: 画像が答えを決定するのはいつか? チャートとシーンの視覚的答えのベンチマーク
- Abstract要約: 我々は、PlotQAチャート、CLEVRレンダリングシーン、GQA写真にまたがって、完全探索評価とラベルの明確な証拠を結びつけるベンチマークを導入する。
チャート上では、最強の構成はビュー毎の判定精度96.2%に達するが、835グループのうち265は、すべての決定が正しくない答えを含んでいる。
- 参考スコア（独自算出の注目度）: 3.8951027719764415
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reliable visual question answering requires correct answers when evidence is sufficient and abstention when it is not. We introduce a benchmark that connects complete-question evaluation with explicit evidence for its labels across PlotQA charts, CLEVR rendered scenes, and GQA photographs. Each question groups original and edited images, presented independently; success requires every supported answer and every required abstention to be correct. For chart missing-information labels, executable witnesses establish that admissible complete charts give different answers but identical pixels after masking. Scene labels follow source programs and edits, with a residual-cue analysis for photographs. Across 72,000 responses from six model configurations, the highest observed complete task success rates are 57.0%, 43.5%, and 33.7%, respectively. On charts, the strongest configuration achieves 96.2% per-view decision accuracy, yet 265 of its 835 groups with every decision correct still contain incorrect answers. Evaluating supported answers and necessary abstentions together exposes failures that answerability decisions alone conceal.
- Abstract（参考訳）: 信頼性の高い視覚的質問応答には、証拠が十分であれば正しい答えが必要であり、そうでない場合は控える必要がある。
我々は、PlotQAチャート、CLEVRレンダリングシーン、GQA写真にまたがって、完全探索評価とラベルの明確な証拠を結びつけるベンチマークを導入する。
各質問は、独立して提示されるオリジナルの画像と編集された画像をグループ化する。
チャート不足情報ラベルについて、実行可能証人は、許容可能な完全なチャートは、マスキング後に異なる答えを与えるが、同じピクセルを与えると断定する。
シーンラベルはソースプログラムと編集に追随し、写真の残像分析を行う。
6つのモデル構成からの72,000件の回答のうち、観測されたタスク成功率は57.0%、43.5%、33.7%である。
チャート上では、最強の構成はビュー毎の判定精度96.2%に達するが、835グループのうち265は、すべての決定が正しくない答えを含んでいる。
サポートされた回答と必要な棄権を評価することは、回答可能性の判断だけで隠蔽される失敗を明らかにする。
関連論文リスト
- Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。
TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。
イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
論文 参考訳（メタデータ） (2026-09-09T22:54:15Z) - MedQA-MM: Shortcuts Behind Medical Visual Reasoning [45.333881843709804]
ベンチマークスコアは最終回答を信用するが、アイテムが答えられるルートではない。
医用マルチモーダル多重選択質問(MCQ)では、適切な回答が意図された画像発見によって支持されるため、この区別が重要である。
ここでは、ルートは、モデルの隠れた認識に関するクレームではなく、回答の選択をサポートすることができる観測可能な入力パスである。
論文 参考訳（メタデータ） (2026-09-03T01:40:19Z) - When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making [30.869819258358405]
視覚言語モデル(VLM)は、視覚知覚を急速に進歩させ、画像に依存する現実的なタスクをますますサポートしている。
39のドメインにインスパイアされた視覚世界と29のカテゴリーにわたる390のタスクのベンチマークであるCompleXITYWORLDを紹介する。
論文 参考訳（メタデータ） (2026-08-05T10:05:41Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA [56.73431446011309]
ダイアグラム質問応答(ダイアグラムQA)は、各問合せ対を答えを導き出すために必要なすべての視覚領域にリンクする推論レベルの属性を必要とする。
私たちは、データセット固有の構造からインターフェースロジックを分離する軽量でスキーマ駆動のレビューフレームワークであるDIAGRAMSを紹介します。
論文 参考訳（メタデータ） (2026-04-29T02:34:51Z) - ChartQA-X: Generating Explanations for Visual Chart Reasoning [18.76948282789514]
本稿では,4種類のチャートを対象とする30,299のチャートサンプルからなるChartQA-Xを提案する。
説明は、忠実さ、情報性、一貫性、難易度といった指標に基づいて生成され、選択される。
ChartQA-Xで微調整されたモデルは、さまざまなメトリクスで大幅に改善されている。
論文 参考訳（メタデータ） (2025-04-17T18:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。