論文の概要: VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents
- arxiv url: http://arxiv.org/abs/2610.20964v1
- Date: Wed, 14 Oct 2026 21:36:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.08143
- Title: VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents
- Title（参考訳）: VELD-QA:長期文書における視覚的エビデンスグラウンドと質問回答のための大規模データセット
- Abstract要約: VELD-QAは、Long Documentsにおいて、ビジュアルエビデンスグラウンドと質問応答のための大規模ベンチマークである。
5,859の現実世界のPDFの合計372,445ページにわたる15,000の完全な人間による質問応答対を含んでいる。
人間アノテーションはサポートページとエビデンス要素を識別し、引用されたビジュアルコンテンツを記述し、別々の検索と解釈評価を可能にする。
- 参考スコア（独自算出の注目度）: 33.670461515576186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing long-document QA benchmarks rarely combine large-scale human-authored questions with detailed visual evidence annotations, limiting diagnosis of evidence localization and interpretation failures. We present VELD-QA, a large-scale benchmark for Visual Evidence grounding and question answering in Long Documents. It contains 15,000 fully human-authored question-answer pairs across 5,859 real-world PDFs totaling 372,445 pages, balancing chart, table, and complex-layout tasks. Human annotations identify supporting pages and evidence elements and describe cited visual content, enabling separate retrieval and interpretation evaluation. We evaluate nine vision-language models under four evidence settings and seven retrieval-augmented and agentic systems. Our analysis identifies bottlenecks in evidence localization and interpretation. Retrieval-based methods substantially underperform the oracle setting with ground-truth supporting pages; full-document access does not close the gap. Localization alone is insufficient: oracle accuracy peaks at 81.7%, highlighting persistent visual interpretation and reasoning challenges. Enriching inputs with our visual-element annotations narrows the performance gap by 17-24%, demonstrating value beyond evaluation and motivating data enrichment for multimodal document QA. Our code is available at https://github.com/oracle-samples/veld-qa.
- Abstract（参考訳）: 既存の文書QAベンチマークは、大規模な人間による質問と詳細な視覚的エビデンスアノテーションを組み合わせて、証拠のローカライゼーションと解釈失敗の診断を制限することは滅多にない。
VELD-QAは、Long Documentsにおいて、ビジュアルエビデンスグラウンドと質問応答のための大規模ベンチマークである。
5,859の現実世界のPDFの合計372,445ページ、バランスチャート、テーブル、複雑なレイアウトタスクに15,000の完全な人間による質問応答ペアが含まれている。
人間アノテーションはサポートページとエビデンス要素を識別し、引用されたビジュアルコンテンツを記述し、別々の検索と解釈評価を可能にする。
4つのエビデンス・セッティングと7つの検索・エージェント・システムによる視覚言語モデルの評価を行った。
本分析は,証拠の局所化と解釈におけるボトルネックを同定する。
検索に基づく検索手法は, 起立支援ページのオーラクル設定を著しく過小評価するが, フルドキュメントアクセスはギャップを埋めない。
オラクルの精度は81.7%に達し、永続的な視覚的解釈と推論の課題を強調している。
視覚要素アノテーションによるインプットの充実は、パフォーマンスギャップを17～24%狭め、マルチモーダル文書QAに対する評価以上の価値を示し、データエンリッチメントを動機付けます。
私たちのコードはhttps://github.com/oracle-samples/veld-qa.comで公開されています。
関連論文リスト
- LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding [40.080508242272145]
LongHisDocは101のPDF文書から派生した1012のエキスパートアノテーション付きQAペアで構成されている。
10のカテゴリにまたがり、シングルページ、クロスページ、マルチホップ、未解決の4つのQAタイプがある。
評価の結果,LVLMは62.9%,LLMは69.9%であった。
論文 参考訳（メタデータ） (2026-10-10T03:44:08Z) - DocHop: Benchmarking Out-of-domain Multi-hop Reasoning in Information-Dense Documents [31.706151171213346]
文書形式の画像にチャートコンテキスト推論を統合するベンチマークであるDocHopを紹介する。
DocHopでは、文書物語は多段階の構成制約を規定し、チャートは対応するデータ値を提供する。
人間の文脈記述者には90%以上の精度が得られ、最良のモデルは62.83%にしか達しない。
論文 参考訳（メタデータ） (2026-09-02T03:35:12Z) - Dr. DocBench: A Comprehensive Benchmark for Expert-Level and Difficult Document Parsing [53.41293908252118]
我々は、エキスパートレベルの文書解析のための困難を意識したベンチマークであるDocBench博士を紹介する。
Dr. DocBenchは52のBISACドメインにまたがり、障害ベースのサンプリングによってドキュメントを選択する。
約100ページにわたる長いドキュメントから4,514ページの注釈付きページが含まれており、レイアウト、読み込み順序、階層的関係、ドメイン固有のビジュアルコンテンツなど、65kの高品質なアノテーションがある。
本分析では,文書インテリジェンスを診断・進展するための総合的なテストベッドとしてDocBench博士が注目されている。
論文 参考訳（メタデータ） (2026-05-31T18:35:30Z) - DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding [29.270128057512284]
本稿では,長期文書QAを構造化推論軌道予測問題として定式化するベンチマークであるDocScopeを紹介する。
軌道の各レベルを独立に監査する4段階評価プロトコルを設計する。
6つのプロプライエタリなモデル、12のオープンウェイトモデル、いくつかのドメイン固有のシステムをベンチマークします。
論文 参考訳（メタデータ） (2026-05-09T11:12:59Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳（メタデータ） (2026-04-15T11:12:27Z) - Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。
本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。
このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
論文 参考訳（メタデータ） (2025-11-28T03:09:40Z) - DocLens : A Tool-Augmented Multi-Agent Framework for Long Visual Document Understanding [59.4112754806335]
我々は、レンズのようなエビデンスに対して「効果的にズームインする」ツール強化マルチエージェントフレームワークであるDocLensを提案する。
最初はドキュメント全体から、関連するページの特定のビジュアル要素にナビゲートし、次にサンプリング・アジュディテーション機構を使用して、信頼できる1つの回答を生成する。
MMLongBench-DocとFinRAG-Vで最先端のパフォーマンスを達成し、人間専門家さえ超えている。
論文 参考訳（メタデータ） (2025-11-14T18:42:18Z) - OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
オピオイド危機は公衆衛生にとって重要な瞬間である。
UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書
本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-11-13T03:27:32Z) - MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations [105.10376440302076]
MMLongBench-Doc は 1,062 のエキスパート注釈付き質問を含む長文マルチモーダルベンチマークである。
130の長いPDFフォーマットの文書の上に構築されており、平均49.4ページと20,971のテキストトークンがある。
14個のLVLMの実験により、長いコンテキストのDUが現在のモデルに大きく挑戦することを示した。
論文 参考訳（メタデータ） (2024-07-01T17:59:26Z) - DCQA: Document-Level Chart Question Answering towards Complex Reasoning
and Common-Sense Understanding [19.713647367008143]
文書レベルの質問応答(DCQA)という新しいタスクを導入する。
新たに開発されたベンチマークデータセットは、チャートを幅広いスタイルで統合した50,010の合成文書からなる。
本稿では,テーブルデータ,リッチな色集合,および基本的な質問テンプレートを利用する強力な質問応答生成エンジンの開発について述べる。
論文 参考訳（メタデータ） (2023-10-29T11:38:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。