論文の概要: DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding
- arxiv url: http://arxiv.org/abs/2610.21327v1
- Date: Thu, 15 Oct 2026 06:16:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.213711
- Title: DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding
- Title（参考訳）: DocPilot: 長期視覚文書理解のための対話型エージェントオーケストレーションとトレーニング
- Abstract要約: DocPilotは、オーケストレーションをサポートし、小さな言語モデル(SLM)で学習可能な複雑なドキュメント解決を実現するエージェント型ドキュメントフレームワークである。
本稿では,単一能力学習から適応的オーケストレーションへ進むためのカリキュラムベースのエージェントトレーニングについて,データ基底推論トレースと実行可能なインタラクショントラジェクトリの監督を通じて提案する。
MMLongBench-Doc、DocBench、FinRAGBench-V、MADQAの他、DocPilotはフロンティアのVLMバックボーンで大きく向上している。
- 参考スコア（独自算出の注目度）: 16.33078442884998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal long-document question answering requires models to seek sparse evidence across pages and modalities, understand heterogeneous document content, and reason over the collected evidence. Even advanced vision-language models (VLMs) can overlook sparse evidence and struggle with cross-modal reasoning in a single pass. Existing document agents further introduce multi-step interaction, but some still rely on predefined workflows or coarse-grained actions, limiting the flexibility and granularity of document reasoning. We introduce DocPilot, an agentic document framework that supports expressive orchestration and makes complex document solving learnable by small language models (SLMs). DocPilot orchestrates evidence seeking through page-level navigation and fine-grained evidence localization, and integrates local visual inspection, code-based numerical reasoning, and cross-modal reasoning for multimodal understanding. To transfer these capabilities to small models, we propose curriculum-based agentic training that progresses from single-ability learning to adaptive orchestration through supervision from data-grounded reasoning traces and executable interaction trajectories. Across MMLongBench-Doc, DocBench, FinRAGBench-V, and MADQA, DocPilot achieves strong gains with frontier VLM backbones, while DocPilot-4B delivers competitive performance against substantially larger models, demonstrating strong effectiveness and generalization across diverse long-document reasoning settings. The code is available at https://github.com/HKUSTDial/DocPilot.
- Abstract（参考訳）: マルチモーダルな長期文書質問応答には、ページやモダリティにまたがるスパースエビデンス、異質な文書の内容の理解、収集されたエビデンスに対する理由を求めるモデルが必要である。
高度な視覚言語モデル(VLM)でさえ、スパースな証拠を見落とし、単一のパスでクロスモーダルな推論に苦しむことができる。
既存のドキュメントエージェントはさらに複数ステップのインタラクションを導入していますが、定義済みのワークフローや粗い粒度のアクションに依存していて、ドキュメント推論の柔軟性と粒度が制限されています。
我々は、表現的オーケストレーションをサポートし、小さな言語モデル(SLM)で複雑な文書を学習できるようにするエージェント文書フレームワークDocPilotを紹介する。
DocPilotはページレベルのナビゲーションと詳細なエビデンスローカライゼーションを通じてエビデンスを編成し、局所的な視覚検査、コードベースの数値推論、マルチモーダル理解のためのクロスモーダル推論を統合する。
これらの能力を小さなモデルに移行するため、単機能学習から適応的なオーケストレーションへと進むカリキュラムベースのエージェントトレーニングを、データ基底の推論トレースと実行可能な相互作用軌跡の監督を通じて提案する。
MMLongBench-Doc、DocBench、FinRAGBench-V、MADQAの他、DocPilotはフロンティアのVLMバックボーンによる強力なゲインを実現している。
コードはhttps://github.com/HKUSTDial/DocPilotで入手できる。
関連論文リスト
- DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning [14.841209914774778]
Long Document Visual Question Answering (LongDocVQA)は、複数のページにまたがる異種文書要素を探索し、統合し、推論するために、MLLM(Multimodal Large Language Models)を必要とする。
エンド・ツー・エンドのMLLMを含む既存のアプローチは、しばしば推論中に、根拠となる証拠がどのように徐々に構成されているかを表現し、検証するための明確なメカニズムを欠いている。
本稿では,エビデンスローカライゼーション,構造化文書解析,エビデンスグラフ推論を行う階層的なフレームワークであるDocTraceを提案する。
論文 参考訳（メタデータ） (2026-08-04T08:04:59Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳（メタデータ） (2026-04-15T11:12:27Z) - Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。
本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。
このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
論文 参考訳（メタデータ） (2025-11-28T03:09:40Z) - DocLens : A Tool-Augmented Multi-Agent Framework for Long Visual Document Understanding [59.4112754806335]
我々は、レンズのようなエビデンスに対して「効果的にズームインする」ツール強化マルチエージェントフレームワークであるDocLensを提案する。
最初はドキュメント全体から、関連するページの特定のビジュアル要素にナビゲートし、次にサンプリング・アジュディテーション機構を使用して、信頼できる1つの回答を生成する。
MMLongBench-DocとFinRAG-Vで最先端のパフォーマンスを達成し、人間専門家さえ超えている。
論文 参考訳（メタデータ） (2025-11-14T18:42:18Z) - ALDEN: Reinforcement Learning for Active Navigation and Evidence Gathering in Long Documents [17.497004687630742]
視覚言語モデル(VLM)は、テキストリッチな画像の解釈に優れるが、長い、視覚的に複雑な文書に苦しむ。
対話型エージェントとしてVLMを微調整する多ターン強化学習フレームワークであるActive Long-DocumEnt Navigation (ALDEN)を提案する。
論文 参考訳（メタデータ） (2025-10-29T16:32:26Z) - Docopilot: Improving Multimodal Models for Document-Level Understanding [87.60020625241178]
マルチモーダル文書の詳細な理解を支援するために,高品質な文書レベルデータセットDoc-750Kを提案する。
このデータセットには、さまざまなドキュメント構造、広範なクロスページ依存関係、および元のドキュメントから派生した実際の質問と回答のペアが含まれている。
データセットに基づいて、RAGに頼ることなく、文書レベルの依存関係を正確に処理できるネイティブなマルチモーダルモデルであるDocopilotを開発する。
論文 参考訳（メタデータ） (2025-07-19T16:03:34Z) - Doc-CoB: Enhancing Multi-Modal Document Understanding with Visual Chain-of-Boxes Reasoning [12.17399365931]
既存の1パスのMLLMは、クエリの関連性を考慮せずに、ドキュメントイメージ全体を処理します。
そこで我々は,ヒトの視覚的推論をMLLMに組み込むシンプルな効果メカニズムであるDoc-CoBを紹介した。
提案手法では,クエリに最も関連性の高い領域群を自律的に選択し,さらに理解するためにそれらに注意を集中することができる。
論文 参考訳（メタデータ） (2025-05-24T08:53:05Z) - M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。
既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。
マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。
M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
論文 参考訳（メタデータ） (2025-03-27T07:28:32Z) - Unified Pretraining Framework for Document Understanding [52.224359498792836]
文書理解のための統合事前学習フレームワークであるUDocを紹介する。
UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。
UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
論文 参考訳（メタデータ） (2022-04-22T21:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。