論文の概要: TestHallVQA: Exploring LVLMs' Document-Level Reasoning under Redundant Contexts from Scientific Exams

• arxiv url: http://arxiv.org/abs/2609.13158v1
• Date: Wed, 15 Jul 2026 03:51:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.515687
• Title: TestHallVQA: Exploring LVLMs' Document-Level Reasoning under Redundant Contexts from Scientific Exams
• Title（参考訳）: TestHallVQA:LVLMのドキュメントレベル推論を科学実験から学ぶ
• Abstract要約: LVLM(Large Vision-Language Models)は、平面メディア上での視覚的質問応答(VQA)の実行がますます期待されている。 文書レベルのスケールと人間の検査の難しさを同時に具現化するマルチイメージVQAベンチマークであるTestHallVQAを紹介する。 また、LVLMの計算推論能力と証拠検索の堅牢性を共同で定量化する新しい計量F1-Rtextsuperscript2を提案する。
• 参考スコア（独自算出の注目度）: 3.7266757541593254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision--Language Models (LVLMs) are increasingly expected to perform visual question answering (VQA) over planar media. However, existing planar VQA benchmarks typically emphasize isolated challenges: some emphasize long-document understanding with limited reasoning depth, while others require complex visual reasoning but remain restricted to single-page, noise-free settings. Moreover, through theoretical analysis, we identify the impact of irrelevant visual tokens, which leads to measurable performance degradation but has received little attention with respect to systematic quantification. To address these limitations, we introduce TestHallVQA, a multi-image VQA benchmark that simultaneously embodies document-level scale and the difficulty of human examinations, while providing comprehensive task coverage. Leveraging TestHallVQA's ability to controllably inject multi-level contextual redundancy, we further propose a novel metric, F1-R\textsuperscript{2}, which jointly quantifies LVLMs' computational reasoning capability and their evidence retrieval robustness against document-level redundancy. Extensive experiments and analyses on mainstream LVLMs reveal their latent deficiencies across multiple dimensions, offering concrete insights and directions for future research. The associated datasets, code, and complete theoretical derivations are available at https://github.com/yqyu2317/TestHallVQA-benchmark.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、平面メディア上での視覚的質問応答(VQA)の実行がますます期待されている。 しかし、既存のプランナーVQAベンチマークは、通常は孤立した課題を強調している: いくつかは、限られた推論深度で長い文書理解を強調する一方で、複雑な視覚的推論を必要とするが、単一ページのノイズフリー設定に限定されている。 さらに、理論的解析により、無関係な視覚トークンの影響を識別し、測定可能な性能劣化を引き起こすが、体系的な定量化に関してはほとんど注目されていない。 これらの制約に対処するため,文書レベルのスケールと人体検査の難しさを同時に具体化するマルチイメージVQAベンチマークであるTestHallVQAを導入し,包括的なタスクカバレッジを提供する。 また,TestHallVQAのマルチレベルコンテキスト冗長性制御機能を活用し,LVLMの計算推論能力と文書レベルの冗長性に対するロバスト性を示す新たな指標F1-R\textsuperscript{2}を提案する。 主流のLVLMに関する大規模な実験と分析により、複数の次元にまたがる潜伏する欠陥が明らかとなり、将来の研究に具体的な洞察と方向性が提供される。 関連するデータセット、コード、完全な理論的導出はhttps://github.com/yqyu2317/TestHallVQA-benchmarkで確認できる。

関連論文リスト

• Multimodal Graph RAG for Long-range Visually Rich Document Understanding [20.85691320079392]
  マルチモーダル大言語モデル(MLLM)は、視覚的文書理解に広く応用されている。 MMRAGは、関連するページを取得することで、この問題に対処できる。 文書の全体的理解を必要とする視覚的質問応答(VQA)に苦慮している。
  論文  参考訳（メタデータ） (2026-06-27T07:14:31Z)
• Rethinking Token Reduction for Large Vision-Language Models [95.48478689025696]
  LVLM(Large-Language Models)は、視覚的理解と推論において優れているが、過度の視覚トークンは高い推論コストをもたらす。 一般化設計の限界を克服し,メタコンプレックスと呼ばれる学習に基づくプロンプト非依存型メタコンプレックスを提案する。
  論文  参考訳（メタデータ） (2026-03-23T08:40:08Z)
• Beyond Static Artifacts: A Forensic Benchmark for Video Deepfake Reasoning in Vision Language Models [42.760056969811075]
  空間的アーティファクトを識別するディープフェイク検出のための現在のビジョン・ランゲージ・モデル(VLM)は、ビデオフォージェリーにおける時間的矛盾を見落としている。 本稿では,時間的深度解析をマルチチョイスタスクとして定式化する大規模ベンチマークであるForensic Answer-Questioning (FAQ)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T10:54:55Z)
• Inferential Question Answering [67.54465021408724]
  新しいタスクであるInferential QAを導入します。これは、答えをサポートするパスから答えを推測するためにモデルに挑戦するものです。 そこで本研究では,7,401問と2.4M節からなるQUITデータセットを構築した。 我々は,従来のQAタスクに有効な手法が推論QAに苦しむことを示し,レトリバーは性能が低下し,リランカーは利得が制限され,微調整は不整合の改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2026-02-01T14:02:43Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language Models [19.598563198222035]
  本稿では,MLLMの粗度,中度,微粒度レベルでのDIQA能力を体系的に探索するQ-Docを提案する。 MLLMはDIQA能力を有するが,不整合スコア,歪み誤同定,重度誤判断などの限界がみられた。 我々の研究は、MLLMにおけるDIQA能力のベンチマークを提供し、その品質知覚における明らかな欠陥と、拡張のための有望な経路を明らかにする。
  論文  参考訳（メタデータ） (2025-11-14T15:41:17Z)
• Losing Visual Needles in Image Haystacks: Vision Language Models are Easily Distracted in Short and Long Contexts [65.04791072532106]
  視覚言語モデル(VLM)における長文抽出推論評価のためのベンチマークジェネレータであるLoCoVQAを提案する。 LoCoVQAは、数学的推論、VQA、そしてより長い視覚的コンテキストを持つ文字認識タスクのテスト例を拡張している。 このテストは、VLMがクエリに応答する際の無関係な情報をどの程度無視できるかを評価する。
  論文  参考訳（メタデータ） (2024-06-24T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。