論文の概要: DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents
- arxiv url: http://arxiv.org/abs/2609.24092v1
- Date: Mon, 21 Sep 2026 04:24:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.966948
- Title: DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents
- Title(参考訳): DocMIDE:視覚的にリッチなドキュメントでマルチホップインプットの導出を学ぶ
- Abstract要約: DocMIDEは視覚言語モデルを訓練し、答えを得る前に視覚的証拠を明示的に取得する。
4,151対の暗黙抽出ベンチマークでは、DocMIDEは精度を70.8%から95.9%に引き上げている。
- 参考スコア(独自算出の注目度): 0.5735035463793009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world document processing systems rely on rigid, predefined schemas, yet critical target fields often lack direct visual counterparts on the page. Extracting these implicit values requires multi-hop derivation, such as aggregating sub-categories or reasoning over visual marks. While existing methods handle explicit text spans or simple implicit queries, they fail at multi-hop visual reasoning even after standard fine-tuning: models retrieve incorrect visual evidence, or retrieve it correctly and then skip the intermediate steps of the derivation. To address this, we introduce DocMIDE, a fine-tuning framework that trains compact vision-language models to retrieve visual evidence explicitly before deriving an answer. DocMIDE constrains generation to a plan-retrieve-derive structure and optimizes it with Group Relative Policy Optimization under a four-component, rule-based reward that scores output format, the retrieved evidence block, every intermediate derivation step, and the final value against a verified reference trace. On a 4,151-pair implicit extraction benchmark, DocMIDE raises accuracy from 70.8% to 95.9% on Qwen3.5-4B from only a small set of annotated examples, and transfers to a second backbone architecture. Supervised demonstrations alone do not close this gap at any budget we tested; rewarding the intermediate steps is what does.
- Abstract(参考訳): 現実の文書処理システムは、厳密で定義されたスキーマに依存しているが、重要なターゲットフィールドは、しばしばページ上の直接の視覚的処理を欠いている。
これらの暗黙の値の抽出には、サブカテゴリの集約や視覚的マークの推論といったマルチホップの導出が必要である。
既存のメソッドは明示的なテキストスパンや単純な暗黙的なクエリを処理するが、標準的な微調整後もマルチホップの視覚的推論では失敗する。
これを解決するためにDocMIDEという,コンパクトな視覚言語モデルを訓練して,回答を導き出す前に視覚的エビデンスを明示的に検索する,微調整フレームワークを紹介した。
DocMIDEは、出力フォーマット、検索されたエビデンスブロック、すべての中間導出ステップ、および検証された基準トレースに対する最終値を示す4成分のルールベースの報酬の下で、グループ相対ポリシー最適化(Group Relative Policy Optimization)によって生成を制約し、それを最適化する。
4,151対の暗黙的抽出ベンチマークで、DocMIDEはQwen3.5-4Bの70.8%から95.9%の精度を、注釈付きの小さな例から引き上げ、第2のバックボーンアーキテクチャに転送する。
監視されたデモだけでは、テスト対象の予算でこのギャップを埋めることはできません。
関連論文リスト
- DocHop: Benchmarking Out-of-domain Multi-hop Reasoning in Information-Dense Documents [31.706151171213346]
文書形式の画像にチャートコンテキスト推論を統合するベンチマークであるDocHopを紹介する。
DocHopでは、文書物語は多段階の構成制約を規定し、チャートは対応するデータ値を提供する。
人間の文脈記述者には90%以上の精度が得られ、最良のモデルは62.83%にしか達しない。
論文 参考訳(メタデータ) (2026-09-02T03:35:12Z) - ConceptFormer: Learning Adaptive Latent Concepts for Query-Document Alignment in Visual Document Retrieval [62.80735412748694]
ConceptFormerは、ビジュアル文書検索のための潜在概念表現学習フレームワークである。
クエリ関連エビデンスとは、局所化された視覚的エビデンスとセマンティックな関連性を明確に橋渡しする、連続的でクエリ条件付き潜在概念である。
平均的なNDCG@10では、最強のビジュアル検索ベースラインと最強のOCRベースのテキスト検索ベースラインに対して16.7%と22.1%の相対的な改善が達成されている。
論文 参考訳(メタデータ) (2026-08-16T12:07:12Z) - DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning [14.841209914774778]
Long Document Visual Question Answering (LongDocVQA)は、複数のページにまたがる異種文書要素を探索し、統合し、推論するために、MLLM(Multimodal Large Language Models)を必要とする。
エンド・ツー・エンドのMLLMを含む既存のアプローチは、しばしば推論中に、根拠となる証拠がどのように徐々に構成されているかを表現し、検証するための明確なメカニズムを欠いている。
本稿では,エビデンスローカライゼーション,構造化文書解析,エビデンスグラフ推論を行う階層的なフレームワークであるDocTraceを提案する。
論文 参考訳(メタデータ) (2026-08-04T08:04:59Z) - MPDocBench-Parse: Benchmarking Practical Multi-page Document Parsing [74.84107522458798]
MPDocBench-Parseは、現実世界のアプリケーションにおけるマルチページ文書解析のためのベンチマークである。
433の注釈付き文書に3,246ページあり、英語と中国語の15種類の文書を網羅しており、レイアウトは様々である。
論文 参考訳(メタデータ) (2026-05-21T07:36:41Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳(メタデータ) (2026-04-15T11:12:27Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳(メタデータ) (2026-01-29T17:52:54Z) - PARL: Position-Aware Relation Learning Network for Document Layout Analysis [23.497081928689525]
効果的なレイアウト解析は,テキストと視覚の融合ではなく,文書の本質的な視覚構造を深く理解することに依存する。
位置感度とリレーショナル構造を用いてレイアウトをモデル化する新しいOCRフリー・ビジョンオンリーのフレームワークを提案する。
実験により、PARL (65M) は大規模マルチモーダルモデルより約4倍少ないパラメータを用いて非常に効率的であることが示されている。
論文 参考訳(メタデータ) (2026-01-12T15:05:35Z) - Doc-CoB: Enhancing Multi-Modal Document Understanding with Visual Chain-of-Boxes Reasoning [12.17399365931]
既存の1パスのMLLMは、クエリの関連性を考慮せずに、ドキュメントイメージ全体を処理します。
そこで我々は,ヒトの視覚的推論をMLLMに組み込むシンプルな効果メカニズムであるDoc-CoBを紹介した。
提案手法では,クエリに最も関連性の高い領域群を自律的に選択し,さらに理解するためにそれらに注意を集中することができる。
論文 参考訳(メタデータ) (2025-05-24T08:53:05Z) - Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。
Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
論文 参考訳(メタデータ) (2025-02-18T15:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。