論文の概要: Doc-REFRAG: Rethinking Multimodal Document Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2608.30163v1
• Date: Mon, 31 Aug 2026 02:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.201167
• Title: Doc-REFRAG: Rethinking Multimodal Document Retrieval-Augmented Generation
• Title（参考訳）: Doc-REFRAG: マルチモーダルドキュメント検索拡張生成の再考
• Abstract要約: マルチモーダルRAGモデルは、現実的なマルチイメージシナリオにおいて限られた精度を示す。 本稿では,視覚トークンを粗いチャンクに圧縮し,質問関連トークンを選択的に拡張する問合せ誘導フレームワークDoc-REFRAGを紹介する。 6つのベンチマークの実験では、Doc-REFRAGは11の強いベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 41.46863013116681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world knowledge resides in multimodal documents, necessitating retrieval-augmented generation (RAG) for accurate question answering. However, existing multimodal RAG models are primarily designed for single-image or closed-document settings and exhibit limited accuracy in realistic multi-image scenarios. Moreover, processing numerous retrieved images incurs substantial computational overhead from irrelevant visual tokens. To address these challenges, we introduce DocLongRAG, a large-scale dataset of 343K question--answer pairs, each associated with an average of 37.4 retrieved images to reflect authentic RAG workflows. Building on this dataset, we propose Doc-REFRAG, a question-guided framework that compresses visual tokens into coarse chunks and selectively expands question-relevant ones via a lightweight RL-based selector. Experiments on six benchmarks show that Doc-REFRAG outperforms eleven strong baselines, achieving state-of-the-art accuracy with significantly lower inference latency. Our resources are available at https://github.com/Collab-Gen/Doc-REFRAG.
• Abstract（参考訳）: 実世界の知識はマルチモーダル文書に存在し、正確な質問応答には検索強化世代(RAG)が必要である。 しかし、既存のマルチモーダルRAGモデルは、主にシングルイメージまたはクローズドドキュメントの設定用に設計されており、現実的なマルチモーダルシナリオにおいて限られた精度を示す。 さらに、多数の検索された画像を処理すると、無関係な視覚トークンからかなりの計算オーバーヘッドが発生する。 これらの課題に対処するために,343Kの質問対からなる大規模データセットであるDocLongRAGを紹介した。 このデータセットに基づいてDoc-REFRAGを提案する。これは、視覚トークンを粗いチャンクに圧縮し、軽量なRLベースのセレクタを介して質問関連トークンを選択的に拡張する、質問誘導フレームワークである。 6つのベンチマークでの実験では、Doc-REFRAGは11の強いベースラインを上回り、予測レイテンシを大幅に低くして最先端の精度を達成した。 リソースはhttps://github.com/Collab-Gen/Doc-REFRAG.comで公開しています。

関連論文リスト

• DocRetriever: A Plug-and-Play Framework for Multimodal Document Retrieval with Comprehensive Benchmark [48.84943754804533]
  マルチモーダル文書には、テーブル、フィギュア、レイアウトなど、さまざまな要素が含まれている。 現在のアプローチでは、高精度の検索を実現するために、高密度の視覚埋め込みモデルと教師付きリランカを組み合わせるのが一般的である。 本稿では,レイアウトを意識したスパース埋め込み技術による視覚検索を支援するプラグイン・アンド・プレイフレームワークDocRetrieverを提案する。
  論文  参考訳（メタデータ） (2026-05-28T14:50:53Z)
• LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding [23.227000200423458]
  本稿では,ページレベルからブロックレベルまで多モードRAGを進化させる新しいフレームワークLFRAGを提案する。 ブロックレベルの遅延検索により、LFRAGは正確なクエリコンテンツアライメントを可能にし、ダウンストリーム生成のための無関係なコンテンツを削減する。 LFDocQAの実験では、LFRAGは検索タスクにおける最先端のパフォーマンスを達成し、解答精度が7.20%向上し、生成タスクにおけるトークン消費が73.07%減少した。
  論文  参考訳（メタデータ） (2026-04-18T05:04:49Z)
• Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
  複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。 我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:12:27Z)
• LAD-RAG: Layout-aware Dynamic RAG for Visually-Rich Document Understanding [37.12229829548839]
  レイアウト対応動的RAGフレームワークであるLAD-RAGを提案する。 LAD-RAGは、レイアウト構造とページ間の依存関係をキャプチャするシンボリック文書グラフを構築する。 MMLongBench-Doc、LongDocURL、DUDE、MP-DocVQAの実験は、LAD-RAGが検索を改善し、トップkチューニングなしで平均90%以上の完全リコールを達成することを示した。
  論文  参考訳（メタデータ） (2025-10-08T17:02:04Z)
• Docopilot: Improving Multimodal Models for Document-Level Understanding [87.60020625241178]
  マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。 このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。 データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
  論文  参考訳（メタデータ） (2025-07-19T16:03:34Z)
• Hierarchical Lexical Graph for Enhanced Multi-Hop Retrieval [22.33550491040999]
  RAGは、大きな言語モデルを外部の証拠に基礎を置いているが、セマンティックに遠く離れた文書で答えをまとめなければならないと、いまだに混乱している。 私たちは、StatementGraphRAGとTopicGraphRAGという2つのプラグイン・アンド・プレイレトリバーを構築します。 提案手法は,検索リコールと正当性において平均23.1%の相対的改善を達成し,有意なチャンクベースRAGよりも優れていた。
  論文  参考訳（メタデータ） (2025-06-09T17:58:35Z)
• Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
  Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。 現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。 MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T09:52:57Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [18.48202014877111]
  MRAG(Multi-Head RAG)は、マルチアスペクト文書を取得するための新しいスキームである。 MRAGは18RAGベースラインに対して設計上の優位性を示し,検索成功率の最大20%を実証的に改善した。
  論文  参考訳（メタデータ） (2024-06-07T16:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。