論文の概要: Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2507.23217v1
• Date: Thu, 31 Jul 2025 03:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.017914
• Title: Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation
• Title（参考訳）: Pseudo Table of Contents-Guided Retrieval-Augmented Generation を用いたゼロショット文書理解
• Authors: Hyeon Seong Jeong, Sangwoo Jo, Byeong Hyun Yoon, Yoonseok Heo, Haedong Jeong, Taehoon Kim,
• Abstract要約: DocsRayは、トレーニング不要の文書理解システムである。 擬似コンテンツテーブル(TOC)生成と階層型検索拡張生成(RAG)を統合する
• 参考スコア（独自算出の注目度）: 4.875345207589195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding complex multimodal documents remains challenging due to their structural inconsistencies and limited training data availability. We introduce \textit{DocsRay}, a training-free document understanding system that integrates pseudo Table of Contents (TOC) generation with hierarchical Retrieval-Augmented Generation (RAG). Our approach leverages multimodal Large Language Models' (LLMs) native capabilities to seamlessly process documents containing diverse elements such as text, images, charts, and tables without requiring specialized models or additional training. DocsRay's framework synergistically combines three key techniques: (1) a semantic structuring module using prompt-based LLM interactions to generate a hierarchical pseudo-TOC, (2) zero-shot multimodal analysis that converts diverse document elements into unified, text-centric representations using the inherent capabilities of multimodal LLMs, and (3) an efficient two-stage hierarchical retrieval system that reduces retrieval complexity from $O(N)$ to $O(S + k_1 \cdot N_s)$. Evaluated on documents averaging 49.4 pages and 20,971 textual tokens, DocsRay reduced query latency from 3.89 to 2.12 seconds, achieving a 45% efficiency improvement. On the MMLongBench-Doc benchmark, DocsRay-Pro attains an accuracy of 64.7%, substantially surpassing previous state-of-the-art results.
• Abstract（参考訳）: 複雑なマルチモーダル文書の理解は、構造上の不整合と限られたトレーニングデータ可用性のため、依然として困難である。 本稿では、擬似コンテンツ表生成(TOC)と階層型検索拡張生成(RAG)を統合したトレーニング不要な文書理解システムである「textit{DocsRay}」を紹介する。 このアプローチでは,テキスト,画像,チャート,テーブルなどのさまざまな要素を含む文書を,特別なモデルや追加のトレーニングを必要とせずにシームレスに処理する,マルチモーダルなLarge Language Models(LLM)ネイティブ機能を活用している。 DocsRay のフレームワークは,(1) プロンプトベースの LLM 相互作用を用いて階層的擬似TOC を生成するセマンティック構造化モジュール,(2) 多様な文書要素をマルチモーダル LLM 固有の機能を用いて統一されたテキスト中心表現に変換するゼロショットマルチモーダル解析,(3) 検索複雑性を$O(N)$ から $O(S + k_1 \cdot N_s)$ に還元する効率的な2段階階層検索システム,の3つの主要な手法を相乗的に組み合わせている。 平均49.4ページ、20,971のテキストトークンを評価したところ、DocsRayはクエリのレイテンシを3.89秒から2.12秒に短縮し、45%の効率改善を実現した。 MMLongBench-Docのベンチマークでは、DocsRay-Proは64.7%の精度で、これまでの最先端の結果を大幅に上回っている。

関連論文リスト

• Benchmarking Multimodal Understanding and Complex Reasoning for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [28.47810405584841]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Docopilot: Improving Multimodal Models for Document-Level Understanding [87.60020625241178]
  マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。 このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。 データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
  論文  参考訳（メタデータ） (2025-07-19T16:03:34Z)
• DISRetrieval: Harnessing Discourse Structure for Long Document Retrieval [51.89673002051528]
  DISRetrievalは、言語談話構造を利用して長い文書理解を強化する新しい階層的検索フレームワークである。 本研究は,談話構造が文書の長さや問合せの種類によって検索効率を著しく向上することを確認する。
  論文  参考訳（メタデータ） (2025-05-26T14:45:12Z)
• DocMMIR: A Framework for Document Multi-modal Information Retrieval [21.919132888183622]
  本稿では,新しいマルチモーダル文書検索フレームワークDocMMIRを紹介する。 450Kサンプルからなる大規模クロスドメインマルチモーダルベンチマークを構築した。 その結果、ゼロショットベースラインに比べてMRR@10は+31%改善した。
  論文  参考訳（メタデータ） (2025-05-25T20:58:58Z)
• M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
  本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。 既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。 マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。 M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
  論文  参考訳（メタデータ） (2025-03-27T07:28:32Z)
• DocLayLLM: An Efficient Multi-modal Extension of Large Language Models for Text-rich Document Understanding [40.38251904765156]
  テキストリッチ文書理解(TDU)では,テキストの内容や複雑なレイアウトを含む文書を包括的に分析する必要がある。 本稿では,TDUに特化して設計されたマルチモーダル言語モデル(MLLM)の効率的なマルチモーダル拡張であるDocLayLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-27T13:13:38Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding [55.4806974284156]
  文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。 既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
  論文  参考訳（メタデータ） (2023-07-04T11:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。