論文の概要: Are We on the Right Way for Assessing Document Retrieval-Augmented Generation?

• arxiv url: http://arxiv.org/abs/2508.03644v1
• Date: Tue, 05 Aug 2025 16:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.08886
• Title: Are We on the Right Way for Assessing Document Retrieval-Augmented Generation?
• Title（参考訳）: 文書検索強化世代の評価は正しいのか?
• Authors: Wenxuan Shen, Mingjia Wang, Yaochen Wang, Dongping Chen, Junjie Yang, Yao Wan, Weiwei Lin,
• Abstract要約: Double-Benchは、大規模、多言語、マルチモーダル評価システムである。 ドキュメントRAGシステム内の各コンポーネントに対してきめ細かい評価を行う。 3,276のドキュメント(72,880ページ)と6言語で5,168のシングルホップクエリで構成されている。
• 参考スコア（独自算出の注目度）: 16.717935491483146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems using Multimodal Large Language Models (MLLMs) show great promise for complex document understanding, yet their development is critically hampered by inadequate evaluation. Current benchmarks often focus on specific part of document RAG system and use synthetic data with incomplete ground truth and evidence labels, therefore failing to reflect real-world bottlenecks and challenges. To overcome these limitations, we introduce Double-Bench: a new large-scale, multilingual, and multimodal evaluation system that is able to produce fine-grained assessment to each component within document RAG systems. It comprises 3,276 documents (72,880 pages) and 5,168 single- and multi-hop queries across 6 languages and 4 document types with streamlined dynamic update support for potential data contamination issues. Queries are grounded in exhaustively scanned evidence pages and verified by human experts to ensure maximum quality and completeness. Our comprehensive experiments across 9 state-of-the-art embedding models, 4 MLLMs and 4 end-to-end document RAG frameworks demonstrate the gap between text and visual embedding models is narrowing, highlighting the need in building stronger document retrieval models. Our findings also reveal the over-confidence dilemma within current document RAG frameworks that tend to provide answer even without evidence support. We hope our fully open-source Double-Bench provide a rigorous foundation for future research in advanced document RAG systems. We plan to retrieve timely corpus and release new benchmarks on an annual basis.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)を用いたRAG(Retrieval-Augmented Generation)システムでは,複雑な文書理解が期待できるが,不適切な評価によってその開発が著しく妨げられている。 現在のベンチマークは、しばしば文書RAGシステムの特定の部分に焦点を当て、不完全な真実とエビデンスラベルを持つ合成データを使用するため、現実世界のボトルネックや課題を反映しない。 これらの制約を克服するために,文書RAGシステム内の各コンポーネントに対してきめ細かい評価を生成可能な,大規模・多言語・マルチモーダル評価システムであるDouble-Benchを導入する。 3,276のドキュメント(72,880ページ)と6つの言語にまたがる5,168のシングルホップクエリと4つのドキュメントタイプで構成され、潜在的データ汚染問題に対する動的更新が合理化されている。 クエリは徹底的にスキャンされたエビデンスページに埋もれており、人間の専門家によって検証され、最大品質と完全性を保証する。 9つの最先端の埋め込みモデル、4つのMLLM、4つのエンドツーエンドドキュメントRAGフレームワークによる包括的な実験では、テキストと視覚的な埋め込みモデルの間のギャップが狭まり、より強力なドキュメント検索モデルを構築する必要性が強調されている。 また,既存の文書RAGフレームワークでは,証拠支援がなくても回答を提供する傾向にある,自信過剰なジレンマが明らかとなった。 完全なオープンソースであるDouble-Benchが、高度なドキュメントRAGシステムにおける将来の研究のための厳格な基盤を提供することを期待しています。 タイムリーコーパスを回収し、新しいベンチマークを毎年リリースする予定です。

関連論文リスト

• Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation [4.875345207589195]
  DocsRayは、トレーニング不要の文書理解システムである。 擬似コンテンツテーブル(TOC)生成と階層型検索拡張生成(RAG)を統合する
  論文  参考訳（メタデータ） (2025-07-31T03:14:45Z)
• Benchmarking Multimodal Understanding and Complex Reasoning for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• Docopilot: Improving Multimodal Models for Document-Level Understanding [87.60020625241178]
  マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。 このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。 データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
  論文  参考訳（メタデータ） (2025-07-19T16:03:34Z)
• Benchmarking Retrieval-Augmented Multimomal Generation for Document Question Answering [42.468210353582755]
  Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。 現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。 MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T09:52:57Z)
• SCAN: Semantic Document Layout Analysis for Textual and Visual Retrieval-Augmented Generation [5.458935851230595]
  テキストおよび視覚的検索・拡張生成(RAG)システムを強化した新しいアプローチであるSCANを提案する。 SCANは、ドキュメントを連続的なコンポーネントをカバーする一貫性のある領域に分割する、粗い粒度のセマンティックアプローチを使用する。 英語と日本語のデータセットを対象とした実験の結果、SCANの適用により、エンドツーエンドのRAG性能が最大9.0%向上し、ビジュアルRAG性能が最大6.4%向上することが示された。
  論文  参考訳（メタデータ） (2025-05-20T14:03:24Z)
• M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
  本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。 既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。 マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。 M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
  論文  参考訳（メタデータ） (2025-03-27T07:28:32Z)
• Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.7225771305861]
  本稿では,マルチモーダル大規模言語モデルの有効性を評価するためのベンチマークであるMulti-Modal Retrieval-Augmented Generation (M$2$RAG)を紹介する。 このベンチマークは、イメージキャプション、マルチモーダル質問応答、マルチモーダル事実検証、イメージリランクの4つのタスクで構成されている。 MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
  論文  参考訳（メタデータ） (2025-02-24T16:25:25Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-world Document Analysis [7.952225508086861]
  学術文献やファイナンスによる質問応答では、データはHTMLやPDF形式の生のテキストや表によく見られる。 2,965の現実世界の文書と29,590のエキスパート注釈付きQ&AペアからなるベンチマークスイートであるUnstructured Document Analysis (UDA)を導入する。
  論文  参考訳（メタデータ） (2024-06-21T14:29:39Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。