論文の概要: Enhancing Large Multimodal Models in Key Information Extraction via Scene-Aware Document Synthesis
- arxiv url: http://arxiv.org/abs/2607.04636v1
- Date: Mon, 06 Jul 2026 03:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.029533
- Title: Enhancing Large Multimodal Models in Key Information Extraction via Scene-Aware Document Synthesis
- Title（参考訳）: シーン対応文書合成によるキー情報抽出における大規模マルチモーダルモデルの強化
- Abstract要約: キー情報抽出(KIE)は、視覚的にリッチな文書を構造化データに変換するが、実際の展開は困難である。
本稿では,手作りテンプレート設計を使わずに,スケーラブルなKIEトレーニングデータを生成するためのシーン対応文書合成フレームワークSAYREを提案する。
- 参考スコア（独自算出の注目度）: 16.480758247052442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Key Information Extraction (KIE) converts visually rich documents into structured data, but practical deployment remains challenging: strong performance often relies on costly on-server Large Multimodal Models (LMMs), while compact locally deployable models lack sufficient KIE supervision. We present SAYRE, a scene-aware document synthesis framework for generating scalable KIE training data without hand-crafted template design. Given a few exemplar documents, SAYRE captures category-specific content patterns and layout conventions to synthesize document-schema-annotation triples. It further introduces error-driven generation, which expands real-world failure cases into hard training examples while preserving their structural patterns. Experiments on constrained- and open-category KIE show that SAYRE consistently improves Qwen3-VL backbones and achieves the strongest overall performance among on-device LMMs. Data scaling experiments show an overall upward trend as more synthesized data is introduced, especially for smaller models and open-category extraction. Error analysis further shows that synthesized training reduces field-level errors by improving schema-aware extraction over dense tables, business identifiers, and contract clauses. These results establish scene-aware synthesis as an effective data-centric approach for improving practical multimodal KIE.
- Abstract（参考訳）: キー情報抽出(KIE)は、視覚的にリッチなドキュメントを構造化データに変換するが、実際の配置は困難である。
本稿では,手作りテンプレート設計を使わずに,スケーラブルなKIEトレーニングデータを生成するためのシーン対応文書合成フレームワークSAYREを提案する。
SAYREは、いくつかの典型的なドキュメントが与えられたとき、カテゴリ固有のコンテンツパターンとレイアウト規則をキャプチャして、文書スキーマアノテーションを3重に合成する。
さらに、エラー駆動生成を導入し、現実世界の障害ケースを、構造パターンを維持しながらハードトレーニングの例に拡張する。
制約付きおよびオープンカテゴリKIEの実験では、SAYREはQwen3-VLバックボーンを一貫して改善し、デバイス上でのLMMの中で最高の全体的なパフォーマンスを達成する。
データスケーリング実験は、特により小さなモデルやオープンカテゴリ抽出において、より合成されたデータが導入されるにつれて、全体的な上昇傾向を示す。
エラー解析により、合成トレーニングは、高密度テーブル、ビジネス識別子、契約条項に対するスキーマ認識抽出を改善することにより、フィールドレベルのエラーを低減する。
これらの結果は,実践的マルチモーダルKIEを改善するための効果的なデータ中心型手法としてシーン認識合成を確立した。
関連論文リスト
- Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training [23.87978106727431]
本稿では、堅牢なエンドツーエンド文書解析のためのデータ学習協調設計フレームワークを提案する。
本手法は,スキャン・デジタル・実世界の両方のシナリオにおいて,精度とロバスト性を向上する。
論文 参考訳（メタデータ） (2026-03-25T03:19:09Z) - Beyond the Grid: Layout-Informed Multi-Vector Retrieval with Parsed Visual Document Representations [39.98860473310998]
ColParseは、ドキュメント解析モデルを利用して、レイアウトインフォームドされた小さなサブイメージの埋め込みを生成する新しいパラダイムである。
実験により,本手法はストレージ要求を95%以上削減し,同時に性能向上を図っている。
論文 参考訳（メタデータ） (2026-03-02T09:55:00Z) - UNIKIE-BENCH: Benchmarking Large Multimodal Models for Key Information Extraction in Visual Documents [65.14244917622881]
近年の大規模マルチモーダルモデルでは,文書画像から直接,エンドツーエンドのKIEを実行する可能性が高まっている。
我々は,LMMのKIE能力を厳格に評価するベンチマークであるUNIKIE-BENCHを紹介する。
15の最先端のLMMの実験では、多様なスキーマ定義、ロングテールキーフィールド、複雑なレイアウトの下での大幅な性能低下が示されている。
論文 参考訳（メタデータ） (2026-02-03T12:04:56Z) - Beyond Quantity: Trajectory Diversity Scaling for Code Agents [51.71414642763219]
Trajectory Diversity Scalingは、コードエージェントのためのデータ合成フレームワークである。
TDScalingは、(1)実際のサービスの論理的依存関係をキャプチャするBusiness Clusterメカニズム、(2)軌道コヒーレンスを強制するブループリント駆動のマルチエージェントパラダイム、(3)ロングテールシナリオを指向する適応的な進化メカニズムの4つの革新を統合しています。
論文 参考訳（メタデータ） (2026-02-03T07:43:03Z) - Exploring LLMs for Scientific Information Extraction Using The SciEx Framework [12.534492015126757]
大規模言語モデル(LLM)は、科学的情報抽出を自動化する強力なツールとして評価されている。
本稿では,PDF解析,マルチモーダル検索,抽出,集約といった主要なコンポーネントを分離するモジュール・コンポーザブルなフレームワークであるSciExを紹介する。
SciExを3つの科学的トピックにまたがるデータセット上で評価し,詳細な情報を正確かつ一貫して抽出する能力について検討した。
論文 参考訳（メタデータ） (2025-12-10T19:00:20Z) - Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data [53.040873127309766]
本稿では,トランスアーキテクチャ内でのトークンのアンタングル化プロセスを提案し,特徴分離を向上し,より効果的な学習を実現する。
提案手法は,データセット内およびデータセット間の評価において,既存のモデルよりも優れる。
論文 参考訳（メタデータ） (2025-09-08T17:58:06Z) - Leveraging Machine Learning and Enhanced Parallelism Detection for BPMN Model Generation from Text [75.77648333476776]
本稿では、テキストからBPMNモデルを抽出する自動パイプラインについて紹介する。
この研究の重要な貢献は、新たに注釈付けされたデータセットの導入である。
モデルトレーニング用の32のパラレルゲートウェイを含む15の注釈付き文書でデータセットを増強する。
論文 参考訳（メタデータ） (2025-07-11T07:25:55Z) - DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。
一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。
例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
論文 参考訳（メタデータ） (2025-01-03T19:00:00Z) - Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language [41.40908753726324]
拡散モデルは現実的で多様な画像を生成することができ、データ集約的な知覚タスクのためのデータ可用性を促進する可能性がある。
textbfAuto textbfCherry-textbfPicker (ACP)を提案する。
論文 参考訳（メタデータ） (2024-06-28T17:53:18Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。