論文の概要: SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
- arxiv url: http://arxiv.org/abs/2607.10400v1
- Date: Sat, 11 Jul 2026 17:02:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.422017
- Title: SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
- Title(参考訳): SynthDocBench: 長期視覚文書理解のためのベンチマーク制御
- Abstract要約: ヴィジュアル言語モデル(VLM)はDocVQA、ChartQA、MMLongBench-Docといったビジュアル文書理解ベンチマークで高いパフォーマンスを達成した。
文書長,レイアウト構造,モダリティ構成,質問型などの要素を制御できる,長文視覚文書理解のための完全合成ベンチマークであるSynthDocBenchを紹介した。
- 参考スコア(独自算出の注目度): 7.772410077546426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision language models (VLMs) have achieved strong performance on visual document understanding benchmarks such as DocVQA, ChartQA, and MMLongBench-Doc. However, real-world documents combine multiple factors such as length, layout complexity, modality, and question difficulty, which makes it difficult to attribute model failures to specific causes. We introduce SynthDocBench, a fully synthetic benchmark for long-context visual document understanding that systematically controls factors including document length, layout structure, modality composition, and question type. The benchmark is constructed using a combinatorial design, each factor is varied independently across generated documents, enabling controlled analysis of model behavior. Documents are generated end to end using an LLM pipeline across six layout archetypes, with a 40 percent random override to prevent models from exploiting spurious correlations. Additionally, SynthDocBench spans long-context documents with substantially greater length and structural diversity than existing benchmarks. Evaluating seven frontier VLMs, we uncover three failure modes that existing benchmarks cannot surface: sharp degradation with document length, a systematic positional sensitivity in which the middle third of a document is hardest for five of six models and five of six models show a negative Early-to-Late trend (steepest decline: 8.3 percentage points), and breakdown of chart comprehension in long-document settings. These results suggest that current models may be overfitting to benchmark artifacts rather than achieving robust long-context visual document understanding.
- Abstract(参考訳): ヴィジュアル言語モデル(VLM)はDocVQA、ChartQA、MMLongBench-Docといったビジュアル文書理解ベンチマークで高いパフォーマンスを達成した。
しかし、実世界の文書は、長さ、レイアウトの複雑さ、モダリティ、質問の難しさといった複数の要因を組み合わさっており、特定の原因によるモデル障害の属性付けが困難である。
文書長,レイアウト構造,モダリティ構成,質問型などの因子を体系的に制御する長文ビジュアル文書理解のための完全合成ベンチマークであるSynthDocBenchを紹介する。
ベンチマークは組合せ設計を用いて構築され、各因子は生成文書間で独立に変化し、モデル動作の制御解析を可能にする。
ドキュメントは、6つのレイアウトのアーチタイプにまたがるLLMパイプラインを使用してエンドツーエンドに生成される。
さらに、SynthDocBenchは、既存のベンチマークよりもかなり長いコンテキストのドキュメントにまたがっている。
7つのフロンティアVLMを評価することで、既存のベンチマークが表に出せない3つの障害モードを明らかにした。文書長の急激な劣化、ドキュメントの中央3分の1が6つのモデルのうち5つのモデルで最も困難で、6つのモデルのうち5つは負の早期段階の傾向を示す体系的な位置感度、長期文書設定におけるチャート理解の崩壊である。
これらの結果は、現在のモデルは、堅牢な長文ビジュアル文書理解を達成するのではなく、アーティファクトのベンチマークに過度に適合している可能性があることを示唆している。
関連論文リスト
- DocHop: Benchmarking Out-of-domain Multi-hop Reasoning in Information-Dense Documents [31.706151171213346]
文書形式の画像にチャートコンテキスト推論を統合するベンチマークであるDocHopを紹介する。
DocHopでは、文書物語は多段階の構成制約を規定し、チャートは対応するデータ値を提供する。
人間の文脈記述者には90%以上の精度が得られ、最良のモデルは62.83%にしか達しない。
論文 参考訳(メタデータ) (2026-09-02T03:35:12Z) - DocAtlas: Long-Document Understanding as Mutable-State Interaction [67.90400271544678]
本稿では,長期文書理解を可変状態情報探索プロセスとして扱うDocAtlasを提案する。
ドキュメントと質問が与えられた後、DocAtlasは検索、読み取り、メモ取り、レビューツールを公開し、階層的なツリーとノートストアを維持し、エージェントが証拠を記録するように更新する。
GPT-5.4では、DocAtlasはMMLongBench-Docで71.4%に達し、65.8%という人間の専門的基準を超えた。
論文 参考訳(メタデータ) (2026-07-21T09:45:34Z) - Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering [11.17007249581283]
長い文書の質問応答は、長い文書に散在する証拠を推論するために大きな言語モデルを必要とする。
既存の構造化RAG手法には,コストのかかるクエリ非依存の知識組織,オリジナルドキュメント構造の使用不足,歴史的推論経験の再利用の3つの制限がある。
本稿では、問合せトリガードナレッジ組織、文書構造認識、経験誘導推論をサポートする長期文書QAのためのマルチエージェントRAGフレームワークDocTraceを提案する。
論文 参考訳(メタデータ) (2026-06-09T14:29:06Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳(メタデータ) (2026-04-15T11:12:27Z) - Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。
本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。
このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
論文 参考訳(メタデータ) (2025-11-28T03:09:40Z) - Are We on the Right Way for Assessing Document Retrieval-Augmented Generation? [16.717935491483146]
Double-Benchは、大規模、多言語、マルチモーダル評価システムである。
ドキュメントRAGシステム内の各コンポーネントに対してきめ細かい評価を行う。
3,276のドキュメント(72,880ページ)と6言語で5,168のシングルホップクエリで構成されている。
論文 参考訳(メタデータ) (2025-08-05T16:55:02Z) - Docopilot: Improving Multimodal Models for Document-Level Understanding [87.60020625241178]
マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。
このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。
データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
論文 参考訳(メタデータ) (2025-07-19T16:03:34Z) - WildDoc: How Far Are We from Achieving Comprehensive and Robust Document Understanding in the Wild? [64.62909376834601]
本稿では,自然環境における文書理解の評価に特化して設計されたWildDocについて紹介する。
WildDoc上での最先端MLLMの評価は、従来のベンチマークと比べて性能が大幅に低下し、モデルの頑健さが不十分であることを示す。
論文 参考訳(メタデータ) (2025-05-16T09:09:46Z) - M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。
既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。
マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。
M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
論文 参考訳(メタデータ) (2025-03-27T07:28:32Z) - PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。
本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。
ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
論文 参考訳(メタデータ) (2023-09-16T04:29:05Z) - Understanding Performance of Long-Document Ranking Models through Comprehensive Evaluation and Leaderboarding [12.706825602291266]
我々は、長い文書のランク付けのためのTransformerモデルを評価し、それらを単純なFirstPベースラインと比較した。
MS MARCO, TREC DLs, Robust04 では FirstP は NDCG と MRR で 5% 以上の性能を示した。
これは、モデルが長いコンテキストを処理できないことによるものではなく、関連するパスの位置バイアスによるものであると推測した。
論文 参考訳(メタデータ) (2022-07-04T08:54:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。