論文の概要: Docopilot: Improving Multimodal Models for Document-Level Understanding

• arxiv url: http://arxiv.org/abs/2507.14675v1
• Date: Sat, 19 Jul 2025 16:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.998252
• Title: Docopilot: Improving Multimodal Models for Document-Level Understanding
• Title（参考訳）: Docopilot: ドキュメントレベル理解のためのマルチモーダルモデルの改善
• Authors: Yuchen Duan, Zhe Chen, Yusong Hu, Weiyun Wang, Shenglong Ye, Botian Shi, Lewei Lu, Qibin Hou, Tong Lu, Hongsheng Li, Jifeng Dai, Wenhai Wang,
• Abstract要約: マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。 このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。 データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
• 参考スコア（独自算出の注目度）: 87.60020625241178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in multimodal large language models (MLLMs), their performance on complex, multi-page document comprehension remains inadequate, largely due to the lack of high-quality, document-level datasets. While current retrieval-augmented generation (RAG) methods offer partial solutions, they suffer from issues, such as fragmented retrieval contexts, multi-stage error accumulation, and extra time costs of retrieval. In this work, we present a high-quality document-level dataset, Doc-750K, designed to support in-depth understanding of multimodal documents. This dataset includes diverse document structures, extensive cross-page dependencies, and real question-answer pairs derived from the original documents. Building on the dataset, we develop a native multimodal model, Docopilot, which can accurately handle document-level dependencies without relying on RAG. Experiments demonstrate that Docopilot achieves superior coherence, accuracy, and efficiency in document understanding tasks and multi-turn interactions, setting a new baseline for document-level multimodal understanding. Data, code, and models are released at https://github.com/OpenGVLab/Docopilot
• Abstract（参考訳）: MLLM(Multimodal large language model)の大幅な進歩にもかかわらず、高品質の文書レベルのデータセットが欠如していることから、複雑な多ページ文書理解の性能は依然として不十分である。 現在の検索拡張生成法(RAG)は部分解を提供するが、断片化された検索コンテキスト、多段階エラー蓄積、検索の余分な時間コストといった問題に悩まされる。 本研究では,マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。 このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。 データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。 実験により、ドコパイロットは文書理解タスクやマルチターンインタラクションにおいて、より優れたコヒーレンス、精度、効率を実現し、文書レベルのマルチモーダル理解のための新しいベースラインを設定する。 データ、コード、モデルはhttps://github.com/OpenGVLab/Docopilotで公開される

関連論文リスト

• Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding [0.0]
  Retrieval-Augmented Generation (RAG) システムは情報検索と質問応答に革命をもたらした。 従来のテキストベースのチャンキング手法は、複雑なドキュメント構造、マルチページテーブル、埋め込みフィギュア、ページ境界を越えたコンテキスト依存に苦労する。 本稿では,Large Multimodal Models(LMM)を利用してPDF文書をバッチで処理する,新しいマルチモーダル文書チャンキング手法を提案する。
  論文  参考訳（メタデータ） (2025-06-19T05:11:43Z)
• M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
  本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。 既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。 マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。 M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
  論文  参考訳（メタデータ） (2025-03-27T07:28:32Z)
• BigDocs: An Open Dataset for Training Multimodal Models on Document and Code Tasks [57.589795399265945]
  我々は,30タスクにわたる750万のマルチモーダルドキュメントからなる高品質なオープンアクセスデータセットであるBigDocs-7.5Mを紹介した。 BigDocs-Benchも導入しています。 実験の結果,BigDocs-Bench を用いたトレーニングでは,クローズドソース GPT-4o よりも平均性能が 25.8% 向上していることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T21:41:20Z)
• M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework [75.95430061891828]
  851サンプルのベンチマークであるM-LongDocと、大規模マルチモーダルモデルの性能を評価するための自動フレームワークを紹介する。 効率的なマルチモーダル文書読解のための検索対応チューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-09T13:30:38Z)
• Read and Think: An Efficient Step-wise Multimodal Language Model for Document Understanding and Reasoning [0.0]
  既存の文書理解モデルは、1つの単語やフレーズで直接答えを生成する傾向がある。 文書画像の段階的問合せ対を生成するためにMLLM(Multi-modal Large Language Models)を用いる。 次に、生成された高品質なデータを使用して、DocAssistantと呼ばれる、人間化された文書理解と推論モデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-02-26T01:17:50Z)
• DocumentNet: Bridging the Data Gap in Document Pre-Training [78.01647768018485]
  本稿では,Webから大規模かつ弱いラベル付きデータを収集し,VDERモデルの学習に役立てる手法を提案する。 収集されたデータセットはDocumentNetと呼ばれ、特定のドキュメントタイプやエンティティセットに依存しない。 広く採用されているVDERタスクの実験は、DocumentNetを事前トレーニングに組み込んだ場合、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-06-15T08:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。