論文の概要: OTCR: Optimal Transmission, Compression and Representation for Multimodal Information Extraction

• arxiv url: http://arxiv.org/abs/2511.14766v1
• Date: Wed, 17 Sep 2025 07:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-07 19:06:32.198996
• Title: OTCR: Optimal Transmission, Compression and Representation for Multimodal Information Extraction
• Title（参考訳）: OTCR:マルチモーダル情報抽出のための最適伝送・圧縮・表現
• Authors: Yang Li, Yajiao Wang, Wenhao Hu, Zhixiong Zhang, Mengting Zhang,
• Abstract要約: マルチモーダル情報抽出(MIE)では、視覚的にリッチな文書からテキストや視覚的手がかりを抽出する必要がある。 この研究は、文書AIにおける制御可能なマルチモーダル融合のための解釈可能な情報理論パラダイムを提供する。
• 参考スコア（独自算出の注目度）: 4.245267787339966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Information Extraction (MIE) requires fusing text and visual cues from visually rich documents. While recent methods have advanced multimodal representation learning, most implicitly assume modality equivalence or treat modalities in a largely uniform manner, still relying on generic fusion paradigms. This often results in indiscriminate incorporation of multimodal signals and insufficient control over task-irrelevant redundancy, which may in turn limit generalization. We revisit MIE from a task-centric view: text should dominate, vision should selectively support. We present OTCR, a two-stage framework. First, Cross-modal Optimal Transport (OT) yields sparse, probabilistic alignments between text tokens and visual patches, with a context-aware gate controlling visual injection. Second, a Variational Information Bottleneck (VIB) compresses fused features, filtering task-irrelevant noise to produce compact, task-adaptive representations. On FUNSD, OTCR achieves 91.95% SER and 91.13% RE, while on XFUND (ZH), it reaches 91.09% SER and 94.20% RE, demonstrating competitive performance across datasets. Feature-level analyses further confirm reduced modality redundancy and strengthened task signals. This work offers an interpretable, information-theoretic paradigm for controllable multimodal fusion in document AI.
• Abstract（参考訳）: マルチモーダル情報抽出(MIE)では、視覚的にリッチな文書からテキストや視覚的手がかりを抽出する必要がある。 近年の手法は先進的なマルチモーダル表現学習であるが、最も暗黙的にモダリティ同値を仮定したり、ほとんど均一な方法でモダリティを扱い、依然として一般的な融合パラダイムに依存している。 これはしばしば、マルチモーダル信号の無差別な取り込みとタスク非関係の冗長性に対する制御が不十分になり、それによって一般化が制限される。 私たちは、タスク中心の視点からMIEを再考する: テキストは支配すべきであり、視覚は選択的にサポートされるべきである。 OTCRは2段階のフレームワークである。 第一に、クロスモーダル最適輸送(OT)は、テキストトークンと視覚パッチの間の疎密で確率的なアライメントを、コンテキスト対応ゲートが視覚注入を制御する。 第二に、変異情報ボット (VIB) は融合した特徴を圧縮し、タスク非関連ノイズをフィルタリングして、コンパクトでタスク適応的な表現を生成する。 FUNSDでは、OTCRは91.95%のSERと91.13%のREを達成し、XFUND (ZH)では91.09%のSERと94.20%のREに到達し、データセット間の競合性能を示している。 特徴レベルの解析により、モダリティの冗長性とタスク信号の強化がさらに確認される。 この研究は、文書AIにおける制御可能なマルチモーダル融合のための解釈可能な情報理論パラダイムを提供する。

関連論文リスト

• Dual-branch Prompting for Multimodal Machine Translation [9.903997553625253]
  本稿では,D2P-MMTを提案する。D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT)。 D2P-MMTは、事前学習した拡散モデルによって生成されたソーステキストと再構成画像のみを必要とする。 Multi30Kデータセットの実験により、D2P-MMTは既存の最先端手法よりも優れた翻訳性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-07-23T15:22:51Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Diffusion Augmented Retrieval: A Training-Free Approach to Interactive Text-to-Image Retrieval [7.439049772394586]
  Diffusion Augmented Retrieval (DAR)は、複数の中間表現を生成するフレームワークである。 DARの結果は微調整されたI-TIRモデルと同等だが、チューニングオーバーヘッドは発生しない。
  論文  参考訳（メタデータ） (2025-01-26T03:29:18Z)
• MINIMA: Modality Invariant Image Matching [52.505282811925454]
  複数のクロスモーダルケースを対象とした統合画像マッチングフレームワークであるMINIMAを提案する。 生成モデルを用いて、安価だがリッチなRGBのみのマッチングデータからモダリティをスケールアップする。 MD-synでは、任意の高度なマッチングパイプラインをランダムに選択したモダリティペアで直接訓練して、クロスモーダル能力を得ることができる。
  論文  参考訳（メタデータ） (2024-12-27T02:39:50Z)
• Multimodality Helps Few-shot 3D Point Cloud Semantic Segmentation [61.91492500828508]
  FS-PCS (Few-shot 3D point cloud segmentation) は、最小のサポートサンプルで新しいカテゴリを分割するモデルを一般化することを目的としている。 テキストラベルと潜在的に利用可能な2次元画像モダリティを利用したマルチモーダルFS-PCS構成を提案する。 トレーニングバイアスを軽減するため,テスト時間適応型クロスモーダル(TACC)技術を提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:28:41Z)
• Incorporating Probing Signals into Multimodal Machine Translation via Visual Question-Answering Pairs [45.41083125321069]
  マルチモーダル機械翻訳(MMT)システムは、テキスト入力が完了すると視覚情報に対する感度が低下する。 ソーステキストからVQAスタイルのペアを並列に生成する手法が提案されている。 MMT-VQAマルチタスク学習フレームワークを導入し、データセットからの明示的な探索信号をMTトレーニングプロセスに組み込む。
  論文  参考訳（メタデータ） (2023-10-26T04:13:49Z)
• Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing [72.56219471145232]
  ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。 本手法は,事前処理による音声文のモダリティギャップを低減する。 我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:48:14Z)
• RGBT Tracking via Progressive Fusion Transformer with Dynamically Guided Learning [37.067605349559]
  本稿ではProFormerと呼ばれる新しいプログレッシブフュージョントランスを提案する。 単一のモダリティ情報をマルチモーダル表現に統合し、堅牢なRGBT追跡を行う。 ProFormerは、RGBT210、RGBT234、LasHeR、VTUAVデータセットに新しい最先端パフォーマンスを設定する。
  論文  参考訳（メタデータ） (2023-03-26T16:55:58Z)
• Unsupervised Multimodal Language Representations using Convolutional Autoencoders [5.464072883537924]
  本稿では,教師なしマルチモーダル言語表現の抽出について提案する。 単語レベルのアライメントされたマルチモーダルシーケンスを2次元行列にマップし、畳み込みオートエンコーダを用いて複数のデータセットを組み合わせることで埋め込みを学習する。 また,本手法は非常に軽量で,他のタスクに容易に一般化でき,少ない性能低下とほぼ同じ数のパラメータを持つ未確認データが得られることを示した。
  論文  参考訳（メタデータ） (2021-10-06T18:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。