論文の概要: Multimodal Graph RAG for Long-range Visually Rich Document Understanding

• arxiv url: http://arxiv.org/abs/2606.28780v1
• Date: Sat, 27 Jun 2026 07:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.687183
• Title: Multimodal Graph RAG for Long-range Visually Rich Document Understanding
• Title（参考訳）: 長距離視覚リッチ文書理解のためのマルチモーダルグラフRAG
• Authors: Yi-Cheng Wang, Chu-Song Chen,
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、視覚的文書理解に広く応用されている。 MMRAGは、関連するページを取得することで、この問題に対処できる。 文書の全体的理解を必要とする視覚的質問応答(VQA)に苦慮している。
• 参考スコア（独自算出の注目度）: 20.85691320079392
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal large language models (MLLMs) are widely applied to visual document understanding. However, comprehending long documents remains an issue by the limited context window. Though recent multimodal retrieval-augmented generation (MMRAG) can address this challenge by retrieving relevant pages. It still struggles with the visual question answering (VQA) requiring holistic comprehension of a document. To cope with this, knowledge graph (KG) that summarizes global knowledge of a document can provide an effective solution. However, most existing LLM-based KG construction methods handle only the language modality, leaving the automatic creation of multimodal KGs (MMKGs) for visually rich documents largely unexplored. In this paper, we introduce a multimodal graph-based RAG approach to tackle this problem. Existing LLM-based KG methods evaluate the QA performance relying on indirect evidence such as comprehensiveness, diversity, empowerment, and so on. The lack of annotated datasets for comprehensive document-level VQA poses a significant challenge to effective model evaluation. To overcome this limitation, we also introduce a new benchmark, DLVQA (document-level VQA), which provides reference summaries and corresponding supporting facts for global document-level questions. Experimental results show that our approach outperforms existing MMRAG or KG-based approaches on multi-hop QA/VQA benchmarks and DLVQA.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、視覚的文書理解に広く応用されている。 しかし、長い文書の解釈は、限られたコンテキストウィンドウの問題のままである。 近年のMultimodal Search-augmented Generation (MMRAG)は、関連するページを検索することでこの問題に対処できる。 文書の全体的理解を必要とする視覚的質問応答(VQA)に苦慮している。 これに対応するために、文書のグローバルな知識を要約した知識グラフ(KG)は、効果的なソリューションを提供することができる。 しかし、既存のLLMベースのKG構築法は言語モダリティのみを処理し、視覚的にリッチなドキュメントのためのマルチモーダルKG(MMKG)の自動作成は、ほとんど探索されていない。 本稿では,この問題に対処するためのマルチモーダルグラフに基づくRAG手法を提案する。 既存のLCMベースのKG手法は、包括性、多様性、エンパワーメントなどの間接的な証拠に依存するQA性能を評価する。 包括的なドキュメントレベルのVQAのための注釈付きデータセットの欠如は、効果的なモデル評価に重大な課題をもたらす。 この制限を克服するため,グローバルな文書レベルの質問に対する参照要約とそれに対応する事実を提供するDLVQA(文書レベルVQA)という新たなベンチマークも導入した。 実験の結果,本手法はマルチホップQA/VQAベンチマークやDLVQAにおいて,既存のMMRAGやKGベースのアプローチよりも優れていた。

関連論文リスト

• MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
  検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。 現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。 本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:27:40Z)
• Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
  視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。 本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。 このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
  論文  参考訳（メタデータ） (2025-11-28T03:09:40Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
  Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。 現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。 MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T09:52:57Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [18.48202014877111]
  MRAG(Multi-Head RAG)は、マルチアスペクト文書を取得するための新しいスキームである。 MRAGは18RAGベースラインに対して設計上の優位性を示し,検索成功率の最大20%を実証的に改善した。
  論文  参考訳（メタデータ） (2024-06-07T16:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。