論文の概要: CMDR: Contextual Multimodal Document Retrieval

• arxiv url: http://arxiv.org/abs/2607.05927v1
• Date: Tue, 07 Jul 2026 07:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.431792
• Title: CMDR: Contextual Multimodal Document Retrieval
• Title（参考訳）: CMDR: コンテキストマルチモーダル文書検索
• Abstract要約: CMDRとCMDR-Benchは、新しいマルチモーダル文書検索タスクとベンチマークである。 この課題に対処するために,コンテキスト型マルチモーダル埋め込みフレームワークCMDR-Embedを提案する。 CMDRを組み込んだ実験は、非コンテキスト埋め込みを著しく上回っている。
• 参考スコア（独自算出の注目度）: 17.675834460954793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal document retrieval aims to retrieve relevant pages while preserving both textual and visual content from the original document. However, existing benchmarks primarily evaluate simple lexical or semantic matching, and most methods encode pages independently. Consequently, they overlook the contextual information in the document required to resolve queries that aggregate information across multiple pages. In this paper, we introduce CMDR and CMDR-Bench, a new multimodal document retrieval task and benchmark that require modeling document context. To address this challenge, we propose CMDR-Embed, a contextual multimodal embedding framework that explicitly incorporates document context by jointly encoding multiple pages and deriving page-level embeddings from a shared contextual representation. Furthermore, we introduce CMCL, a contextual multimodal contrastive learning objective that effectively trains CMDR-Embed by balancing contextual modeling with page-level discriminability. Experiments demonstrate that CMDR-Embed significantly outperforms non-contextual embeddings, highlighting the importance of context-aware multimodal embeddings for advancing document retrieval.
• Abstract（参考訳）: マルチモーダル文書検索は、原文書からテキストコンテンツと視覚コンテンツの両方を保存しながら、関連ページを検索することを目的としている。 しかし、既存のベンチマークは主に単純な語彙やセマンティックマッチングを評価し、ほとんどのメソッドはページを独立してエンコードする。 結果として、複数のページにまたがる情報を集約するクエリを解決するのに必要なドキュメントのコンテキスト情報を見落としてしまう。 本稿では,CMDRとCMDR-Benchを紹介する。 この課題に対処するために、CMDR-Embedというコンテキスト型マルチモーダル埋め込みフレームワークを提案し、複数のページを共同で符号化し、共有コンテキスト表現からページレベルの埋め込みを導出することで、文書コンテキストを明示的に組み込む。 さらに,文脈モデルとページレベルの識別可能性のバランスをとることで,CMDR-Embedを効果的に訓練する,コンテキスト型マルチモーダルコントラスト学習の目的であるCMCLを導入する。 実験により,CMDR-Embedは文書検索においてコンテキスト認識型マルチモーダル埋め込みの重要性を強調し,非コンテキスト埋め込みを著しく上回ることを示した。

関連論文リスト

• MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation [3.537921035534424]
  マルチモーダルチャンククエリグラフ(MCQG)は、異種文書チャンクから意味的にリッチで応答可能なクエリを生成する。 このグラフに基づく構造は、選択的でクエリ中心の検索と構造化されたエビデンスアグリゲーションを可能にする。 データセットMMLongBench-DocとLongDocURLの実験では、MLDocRAGは検索品質と回答精度を一貫して改善している。
  論文  参考訳（メタデータ） (2026-02-10T20:29:10Z)
• MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
  検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。 現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。 本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:27:40Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)
• CMRAG: Co-modality-based visual document retrieval and question answering [21.016544020685668]
  共同モダリティベースのRAG(RAG)フレームワークは、テキストや画像を利用してより正確な検索と生成を行うことができる。 我々のフレームワークは、複数のビジュアル文書質問応答(VDQA)ベンチマークにおいて、単一モダリティベースのRAGを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-09-02T09:17:57Z)
• MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding [63.33447665725129]
  M3DocRAGは、様々な文書コンテキストに柔軟に対応する新しいマルチモーダルRAGフレームワークである。 M3DocRAGは視覚情報を保存しながら、単一の文書や多数の文書を効率的に処理できる。 M3DocVQAはオープンドメインDocVQAを3,000以上のPDFドキュメントと4万以上のページで評価するための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-11-07T18:29:38Z)
• Unified Multimodal Interleaved Document Representation for Retrieval [57.65409208879344]
  複数のモダリティでインターリーブされた文書を階層的に埋め込む手法を提案する。 セグメント化されたパスの表現を1つのドキュメント表現にマージする。 我々は,本手法が関連するベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering [13.625303311724757]
  文書質問回答(QA)は、視覚に富む文書(VRD)を理解する上での課題を提示する 我々は,複数のページとマルチモーダル情報検索を含む研究雑誌記事に適したPDF-MVQAを提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:00:05Z)
• Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning [5.109216329453963]
  本稿では,新しい事前学習タスクとして,文書トピックモデリングと文書シャッフル予測を導入する。 本稿では,Longformer ネットワークアーキテクチャをバックボーンとして,複数ページの文書からのマルチモーダル情報をエンド・ツー・エンドで符号化する。
  論文  参考訳（メタデータ） (2020-09-30T05:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。