論文の概要: Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting
- arxiv url: http://arxiv.org/abs/2607.00159v1
- Date: Tue, 30 Jun 2026 20:35:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.633153
- Title: Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting
- Title（参考訳）: 知識に基づくVQAベンチマークの落とし穴の特定と解決:監査,修復,拡張
- Abstract要約: 知識に基づく視覚質問応答 (KB-VQA) は、視覚言語モデル (VLM) が外部構造的知識を検索、基礎化、理性化できるかどうかを評価することを目的としている。
これらの仮定は既存のKB-VQAベンチマークで体系的に違反していることを示す。
本稿では,(1)回答の導出性と質問の明確さを復元する原則付き監査・修復プロトコル,(2)初期検索と根拠推論に挑戦する視覚的曖昧性を導入する制御された多目的拡張プロトコルを紹介する。
- 参考スコア（独自算出の注目度）: 11.990076788699456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge-Based Visual Question Answering (KB-VQA) aims to evaluate whether Visual Language Models (VLMs) can retrieve, ground, and reason over external structured knowledge beyond visual evidence. In practice, answer accuracy is widely adopted as the primary evaluation metric, implicitly treating correctness as a proxy for knowledge-grounded reasoning. However, for existing KB-VQA benchmarks, this proxy relies on critical assumptions that are often overlooked and rendered unreliable by benchmark issues: annotated answer must be derivable from the associated knowledge base, question must be well-posed with sufficient constraints, and visual setting must meaningfully require grounded disambiguation. In this work, we show that these assumptions are systematically violated in existing KB-VQA benchmarks. Our audit reveals substantial instances with missing or contradicted answers and underspecified questions that render accuracy a misleading metric. Furthermore, we find that existing datasets rely on visually trivial, single-entity scenes that bypass the need for sophisticated visual-to-knowledge mapping. We demonstrate that even with controlled architectures, these flaws lead to distorted model rankings and overestimations of reasoning capabilities. To address this, we introduce (1) a principled audit-and-repair protocol that restores answer derivability and question clarity, and (2) a controlled multi-entity augmentation protocol that introduces visual ambiguity to challenge initial retrieval and grounded reasoning. Re-evaluation under corrected and augmented settings yields markedly different performance trends. Our findings call for rethinking evaluation protocols and designing more interaction-aware KB-VQA benchmarks that prioritize verifiable reasoning over simple matching.
- Abstract（参考訳）: 知識に基づく視覚質問応答 (KB-VQA) は視覚言語モデル (VLM) が視覚的証拠を超えた外部構造的知識を検索、基礎化、推論できるかどうかを評価することを目的としている。
実際には、解答精度が一次評価指標として広く採用され、知識基底推論のプロキシとして正当性を暗黙的に扱う。
しかしながら、既存のKB-VQAベンチマークでは、このプロキシは、しばしば見落とされ、ベンチマークの問題によって信頼できない重要な仮定に依存している。
本研究では,既存のKB-VQAベンチマークにおいて,これらの仮定が体系的に違反していることを示す。
調査の結果,解答の欠如や矛盾のある事例や,解答の正確さを誤解を招くような不明確な疑問が明らかになった。
さらに、既存のデータセットは、高度なビジュアル・ツー・ナレッジマッピングの必要性を回避し、視覚的に自明な単一関心シーンに依存していることがわかった。
制御されたアーキテクチャであっても、これらの欠陥はモデルランキングの歪んだり、推論能力の過大評価につながることを実証する。
これを解決するために,(1) 回答の導出性と質問の明確さを復元する原則付き監査・修復プロトコル,(2) 視覚的あいまいさを導入し,初期検索や根拠的推論に挑戦する制御された多義性拡張プロトコルを導入する。
修正および拡張された設定の下での再評価は、明らかに異なるパフォーマンストレンドをもたらす。
本研究は,評価プロトコルを再考し,単純なマッチングよりも検証可能な推論を優先するKB-VQAベンチマークを設計することを目的とする。
関連論文リスト
- Knowledge Dependency Estimation for Reliable Question Answering [11.800158247203312]
我々はemphknowledge依存性の推定について研究する
構造化されたランク認識型知識依存度推定器である textbfKnot を提案する。
論文 参考訳（メタデータ） (2026-05-27T06:48:57Z) - VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。
本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。
GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
論文 参考訳（メタデータ） (2026-05-20T03:44:06Z) - ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。
本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
論文 参考訳（メタデータ） (2026-04-27T10:45:51Z) - Diagnosing Causal Reasoning in Vision-Language Models via Structured Relevance Graphs [18.83755844366017]
VLCG(Vision-Language Causal Graphs)は、因果関係のあるオブジェクト、属性、関係、シーングラウンドの仮定を明示的にエンコードする、構造化されたクエリ条件付き表現である。
本稿では, 因果属性, 因果推論, 質問応答のタスクを含む診断ベンチマークである ViLCaR と, グラフ対応評価指標について述べる。
現状のLVLM実験では、構造化された関連情報を注入することで、ゼロショットや標準のインコンテキスト学習と比較して、帰属や推論が大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-02-24T13:20:07Z) - Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering [7.1559850008795385]
大きな言語モデル(LLM)は質問回答(QA)設定で一般的に使用される。
既存のUQアプローチは、科学的QAでは弱い検証が残っている。
推論要求QAにおけるUQ指標を評価するための,最初の大規模ベンチマークを紹介する。
論文 参考訳（メタデータ） (2026-01-30T20:02:34Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳（メタデータ） (2025-11-27T19:01:02Z) - Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。
広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。
我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。
本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
論文 参考訳（メタデータ） (2025-05-29T14:44:52Z) - Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。
サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。
我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
論文 参考訳（メタデータ） (2024-05-18T02:21:32Z) - Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。
KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。
具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
論文 参考訳（メタデータ） (2023-10-12T09:12:50Z) - Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である
ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。
この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
論文 参考訳（メタデータ） (2022-07-27T07:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。