論文の概要: An LMM for Precisely Grounding Elements in Documents
- arxiv url: http://arxiv.org/abs/2606.24118v1
- Date: Tue, 23 Jun 2026 04:09:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.759617
- Title: An LMM for Precisely Grounding Elements in Documents
- Title（参考訳）: 文書中の精密接地要素のためのLMM
- Authors: Yijian Lu, Chuangxin Zhao, Kai Sun, Lei Hou, Juanzi Li, Ji Qi,
- Abstract要約: PreciseDocは、精密な要素グラウンドティング用に特別に設計されたLMMで、Document VQAタスクにさらに最適化できる。
微粒な座標のペアメタデータを用いて高品質な文書を大量生産できる2つのパイプラインによる挑戦的なトレーニングデータを構築する。
このモデルは、CVからの個人情報の特定など、単一のテキストの直接のローカライゼーションを超えて、より現実的な機能を開発する。
- 参考スコア（独自算出の注目度）: 44.35200586537557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual grounding in documents is a crucial ability for Large Multimodal Models (LMMs) in areas such as document understanding, deep research and document error detection. However, existing approaches exhibit poor grounding precision in text-rich document images, often failing to accurately locate the critical document elements needed for reliable reasoning. To address this gap, we introduce PreciseDoc, an LMM specifically designed for precise element grounding and can be further optimized for Document VQA tasks. Specifically, to enhance the basic localization capability, we construct challenging training data by two pipelines capable of mass-producing high-quality documents with paired metadata of fine-grained coordinates, including synthetic hand-filled documents with camera effects. The model develops more real-world functions beyond straightforward localization of single text, such as locating personal information from CVs. Furthermore, we introduce a training paradigm for visual grounded reasoning where the grounding and reasoning are supervised jointly with reinforcement learning to improve the contribution of the grounded evidence. A comprehensive evaluation on various benchmarks demonstrates the advantage of the proposed data and methods in document spatial grounding and document understanding.
- Abstract（参考訳）: 文書の視覚的グラウンド化は、文書理解、深層研究、文書誤り検出などの分野において、LMM(Large Multimodal Models)にとって重要な機能である。
しかし、既存の手法ではテキストリッチな文書画像の根拠精度が低く、信頼できる推論に必要な重要な文書要素を正確に見つけることができないことが多い。
このギャップに対処するために、我々は、精密な要素接地用に特別に設計されたLMMであるPreciseDocを導入し、Document VQAタスクにさらに最適化することができる。
具体的には、基礎的なローカライゼーション能力を高めるために、カメラ効果のある手書き文書を含む微粒な座標のメタデータを組み合わせて、高品質な文書を大量生産できる2つのパイプラインによる、挑戦的なトレーニングデータを構築した。
このモデルは、CVからの個人情報の特定など、単一のテキストの直接のローカライゼーションを超えて、より現実的な機能を開発する。
さらに, 根拠と推論が強化学習と協調して指導され, 根拠の寄与を改善する視覚的根拠推論のための訓練パラダイムを導入する。
各種ベンチマークの総合的な評価は,文書空間の接地と文書理解において提案したデータと手法の利点を示す。
関連論文リスト
- DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding [63.257540233507626]
本稿では、構造化解析、局所化、推論のワークフローを実行するためにモデルを必要とするパラダイムを提案する。
ショートページトレーニングから超長文書への堅牢な一般化を示し、視覚的検索・拡張生成システムと自然に相乗効果を示す。
論文 参考訳（メタデータ） (2026-04-14T14:39:26Z) - DOGR: Towards Versatile Visual Document Grounding and Referring [47.66205811791444]
グラウンディングと参照機能は、詳細な理解とフレキシブルなユーザインタラクションを達成するために注目を集めています。
本稿では,2種類の高品質な文書データを生成するDOGR-Engineを提案する。
DOGR-Engineを用いて,3つの文書タイプにまたがる7つのグラウンドと参照タスクをカバーするベンチマークであるDOGR-Benchを構築した。
論文 参考訳（メタデータ） (2024-11-26T05:38:34Z) - The Law of Large Documents: Understanding the Structure of Legal
Contracts Using Visual Cues [0.7425558351422133]
コンピュータビジョン手法を用いて得られた視覚的手がかりが文書理解タスクの精度に与える影響を計測する。
構造メタデータに基づく文書のセグメンテーション手法は,4つの文書理解タスクにおいて,既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-16T21:21:50Z) - Evaluation of a Region Proposal Architecture for Multi-task Document
Layout Analysis [0.685316573653194]
Mask-RCNNアーキテクチャは、ベースライン検出と領域分割の問題に対処するために設計されている。
2つの手書きテキストデータセットと1つの手書き音楽データセットに関する実験結果を示す。
分析したアーキテクチャは有望な結果をもたらし、3つのデータセットすべてで最先端のテクニックよりも優れています。
論文 参考訳（メタデータ） (2021-06-22T14:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。