論文の概要: A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends

• arxiv url: http://arxiv.org/abs/2507.09861v1
• Date: Mon, 14 Jul 2025 02:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.169149
• Title: A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends
• Title（参考訳）: MLLMに基づくビジュアルリッチ文書理解に関する調査研究:方法,課題,新興動向
• Authors: Yihao Ding, Siwen Luo, Yue Dai, Yanbei Jiang, Zechuan Li, Geoffrey Martin, Yifan Peng,
• Abstract要約: Visually-Rich Document Understanding (VRDU)は、複雑なビジュアル、テキスト、レイアウト情報を含む文書を自動的に処理する必要があるため、重要な分野として登場した。 この調査はMLLMベースのVRDUの最近の進歩をレビューし、3つのコアコンポーネントを強調した。
• 参考スコア（独自算出の注目度）: 11.428017294202162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visually-Rich Document Understanding (VRDU) has emerged as a critical field, driven by the need to automatically process documents containing complex visual, textual, and layout information. Recently, Multimodal Large Language Models (MLLMs) have shown remarkable potential in this domain, leveraging both Optical Character Recognition (OCR)-dependent and OCR-free frameworks to extract and interpret information in document images. This survey reviews recent advancements in MLLM-based VRDU, highlighting three core components: (1) methods for encoding and fusing textual, visual, and layout features; (2) training paradigms, including pretraining strategies, instruction-response tuning, and the trainability of different model modules; and (3) datasets utilized for pretraining, instruction-tuning, and supervised fine-tuning. Finally, we discuss the challenges and opportunities in this evolving field and propose future directions to advance the efficiency, generalizability, and robustness of VRDU systems.
• Abstract（参考訳）: Visually-Rich Document Understanding (VRDU)は、複雑なビジュアル、テキスト、レイアウト情報を含む文書を自動的に処理する必要があるため、重要な分野として登場した。 近年,Multimodal Large Language Models (MLLM) は,OCR依存フレームワークとOCR非依存フレームワークを併用して,文書画像中の情報を抽出・解釈するなど,この領域において顕著な可能性を示している。 本調査では,MLLMベースのVRDUの最近の進歩を概観し,(1)テキスト,視覚,レイアウトの特徴を符号化・融合する手法,(2)事前学習戦略,命令応答チューニング,異なるモデルモジュールのトレーニング可能性を含むトレーニングパラダイム,(3)事前学習,命令チューニング,教師付き微調整に使用されるデータセットの3つを取り上げている。 最後に、この発展分野における課題と機会について議論し、VRDUシステムの効率性、一般化可能性、堅牢性を向上させるための今後の方向性を提案する。

関連論文リスト

• A Multi-Granularity Retrieval Framework for Visually-Rich Documents [4.804551482123172]
  本稿では,MMDocIRとM2KRの2つのベンチマークタスクに適した,統一されたマルチグラニュラリティマルチモーダル検索フレームワークを提案する。 提案手法は,階層型符号化戦略,モダリティ対応検索機構,視覚言語モデル(VLM)に基づく候補フィルタリングを統合する。 本フレームワークは,タスク固有の微調整を必要とせずに,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2025-05-01T02:40:30Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Deep Learning based Visually Rich Document Content Understanding: A Survey [10.746453741520826]
  ビジュアルリッチドキュメント(VRD)は、学術、金融、医療、マーケティングといった分野において重要な役割を担っている。 VRDから情報を抽出する従来のアプローチは、専門家の知識と手動のアノテーションに大きく依存している。 近年のディープラーニングの進歩は、事前学習を通じて視覚、言語、レイアウト機能を統合するマルチモーダルモデルを実現することで、この状況を変えている。
  論文  参考訳（メタデータ） (2024-08-02T14:19:34Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• Exploring the Frontier of Vision-Language Models: A Survey of Current Methodologies and Future Directions [11.786387517781328]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といった複雑なタスクに対処できる高度なモデルである。 我々の分類では、VLMを視覚言語理解専用のモデル、マルチモーダル入力を処理するモデル、マルチモーダル入力とアウトプットの両方を受け付け、生成するモデルという3つのカテゴリに分類する。 我々は各モデルを慎重に識別し、基礎となるアーキテクチャ、データソースのトレーニング、および可能な限りの強度と限界を広範囲に分析する。
  論文  参考訳（メタデータ） (2024-02-20T18:57:34Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• Analyzing the Efficacy of an LLM-Only Approach for Image-based Document Question Answering [12.064056743478865]
  文書質問応答タスクにおける視覚エンコーダと言語モデルの相対的寄与について検討する。 我々の包括的分析は6つの多様なベンチマークデータセットを含み、様々なスケールのLCMを利用している。 以上の結果から, LLMにのみ依存する戦略が, 最先端の成果と同等か, 近づいた結果をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-25T07:01:16Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。