論文の概要: VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
- arxiv url: http://arxiv.org/abs/2607.24748v1
- Date: Thu, 21 May 2026 13:33:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.03418
- Title: VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
- Title(参考訳): VLD-RAG: 長期ビジュアルリッチ多ページ文書のためのエージェント型視覚言語検索検索生成
- Abstract要約: VLD-RAGは多ページのエビデンス検索のためのエージェントマルチモーダルRAGフレームワークである。
VLD-RAGはページ保存マルチモーダルインデックスを構築し、解析されたテキスト、ページレベルのメタデータ、密度の高いビジュアル表現を格納する。
検証対象エージェントワークフローは、検索エージェント、アンサーエージェント、バリデーションエージェントをコーディネートし、エビデンスカバレッジを広げ、欠落した引用を検出し、検索要求を精査する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visually-rich documents such as reports, slides, and manuals often distribute the evidence needed to answer a question across multiple pages, mixing text with layout cues, tables, charts, and figures. This work studies multimodal retrieval-augmented generation for question answering over such visually-rich long documents, where retrieval must select evidence pages that include both textual and visual signals. We present VLD-RAG, an agentic multimodal RAG framework for multi-page evidence retrieval and cross-page reasoning over long documents. VLD-RAG builds a page-preserving multimodal index that stores parsed text, page-level metadata, and dense visual representations, and uses a hybrid retrieval strategy that combines keyword-based sparse search with dense semantic queries to identify candidate sources and evidence pages. A verifier-guided agent workflow coordinates a Retrieval Agent, Answer Agent, and Validation Agent to broaden evidence coverage, detect missing citations, and refine retrieval requests when needed. We evaluate retrieval with Top-1 and Top-5 evidence-page accuracy and generation with generalized accuracy, and show that VLD-RAG improves both evidence-page retrieval and end-task question answering on visually-rich long-document benchmarks, including LongDocURL and MMLongBench-Doc, outperforming previous vision-based retrieval baselines. These findings highlight that coordinated agent verification and multimodal hybrid retrieval are crucial for reliable grounding when correct answers depend on evidence scattered across pages.
- Abstract(参考訳): レポート、スライド、マニュアルなどの視覚的に豊かなドキュメントは、複数のページにまたがって質問に答えるために必要な証拠を配布し、テキストにレイアウトの手がかり、表、チャート、数字を混ぜる。
本研究は,視覚に富んだ長い文書に対する質問応答のためのマルチモーダル検索拡張生成について検討し,テキスト信号と視覚信号の両方を含むエビデンスページを選択する。
VLD-RAGは多ページのエビデンス検索のためのエージェントマルチモーダルRAGフレームワークである。
VLD-RAGは、解析されたテキスト、ページレベルのメタデータ、および密度の高い視覚表現を格納するページ保存マルチモーダルインデックスを構築し、キーワードベースのスパース検索と密なセマンティッククエリを組み合わせたハイブリッド検索戦略を使用して、候補ソースとエビデンスページを識別する。
検証対象エージェントワークフローは、検索エージェント、アンサーエージェント、バリデーションエージェントをコーディネートし、エビデンスカバレッジを広げ、欠落した引用を検出し、必要に応じて検索要求を精査する。
我々は,Top-1 と Top-5 のエビデンスページの精度と生成を一般化した精度で評価し,LongDocURL や MMLongBench-Doc など視覚に富んだ長期文書ベンチマークにおいて,VLD-RAG がエビデンスページの検索とエンドタスクの問合せの両方を改善したことを示す。
これらの結果から, 協調エージェント検証とマルチモーダルハイブリッド検索は, ページに散在する証拠に依存する場合, 信頼性の高いグラウンド化に不可欠であることが示唆された。
関連論文リスト
- MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA [14.865891513918278]
長い文書のマルチモーダルな質問応答には、長いPDFでスパースエビデンスを見つけるシステムが必要である。
本稿では,長期文書マルチモーダルQAのための多言語適応グラフエビデンスフレームワークであるMAGE-RAGを提案する。
論文 参考訳(メタデータ) (2026-06-14T16:34:15Z) - HMARS: A Hierarchical Multi-Agent Memory System for Long-Context Reasoning [17.783618926697066]
長いコンテキスト推論は、文書、対話、相互作用履歴に散在する証拠にアクセス、検索、統合するモデルを必要とする。
本研究では,長いコンテキストをフラットな検索コーパスではなく管理メモリとして扱う階層型マルチエージェントメモリシステムであるHMARSを提案する。
論文 参考訳(メタデータ) (2026-06-03T07:15:11Z) - Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳(メタデータ) (2026-05-28T12:40:34Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳(メタデータ) (2026-04-15T11:12:27Z) - LITTA: Late-Interaction and Test-Time Alignment for Visually-Grounded Multimodal Retrieval [0.0]
LITTAは、エビデンスページ検索のためのクエリ拡張中心の検索フレームワークである。
ユーザクエリが与えられた後、LITTAは大きな言語モデルを使用して補完的なクエリ変種を生成する。
拡張されたクエリからの候補は、エビデンスカバレッジを改善するために、相互のランクフュージョンを通じて集約される。
論文 参考訳(メタデータ) (2026-03-10T13:25:39Z) - MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。
現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。
本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-01T12:27:40Z) - Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。
本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。
このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
論文 参考訳(メタデータ) (2025-11-28T03:09:40Z) - Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
文書理解は、財務分析から科学的発見への応用に不可欠である。
現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。
Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
論文 参考訳(メタデータ) (2025-10-17T02:33:16Z) - MHier-RAG: Multi-Modal RAG for Visual-Rich Document Question-Answering via Hierarchical and Multi-Granularity Reasoning [5.55667293255701]
マルチモーダルな長文文書問合せタスクは、複数のページに分散したマルチモーダルなエビデンスを特定し、統合することを目的としている。
既存の手法はLVLM(Large Vision-Language Model)とRAG(Retrieval-Augmented Generation)に分類できる。
MHier-RAGと呼ばれる新しいマルチモーダルRAGモデルが提案され、テキスト情報と視覚情報の両方を長距離ページにわたって活用した。
論文 参考訳(メタデータ) (2025-08-01T12:22:53Z) - MMDocIR: Benchmarking Multimodal Retrieval for Long Documents [44.02536756069517]
この研究は、ページレベルとレイアウトレベルの検索という2つの異なるタスクを含むMMDocIRという新しいベンチマークを導入する。
MMDocIRベンチマークは、専門家によって注釈付けされた1,685の質問と、ブートストラップ付きラベル付き173,843の質問を含む、豊富なデータセットで構成されている。
論文 参考訳(メタデータ) (2025-01-15T14:30:13Z) - VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。
視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
論文 参考訳(メタデータ) (2024-12-14T06:24:55Z) - M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding [63.33447665725129]
M3DocRAGは、様々な文書コンテキストに柔軟に対応する新しいマルチモーダルRAGフレームワークである。
M3DocRAGは視覚情報を保存しながら、単一の文書や多数の文書を効率的に処理できる。
M3DocVQAはオープンドメインDocVQAを3,000以上のPDFドキュメントと4万以上のページで評価するための新しいベンチマークである。
論文 参考訳(メタデータ) (2024-11-07T18:29:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。