論文の概要: Information-Theoretic Decomposition for Multimodal Interaction Learning

• arxiv url: http://arxiv.org/abs/2606.11614v1
• Date: Wed, 10 Jun 2026 03:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.267213
• Title: Information-Theoretic Decomposition for Multimodal Interaction Learning
• Title（参考訳）: マルチモーダルインタラクション学習のための情報理論分解
• Authors: Zequn Yang, Yake Wei, Haotian Ni, Zhihao Xu, Di Hu,
• Abstract要約: マルチモーダル学習は、モダリティ全体にわたって冗長でユニークな、シナジスティックな情報を取得することに焦点を当てている。 批判的だが未発見の課題は、暗黙の相互作用がサンプル間で動的に変化することである。 本稿では,このような動的,サンプル特異的な相互作用を学習することが,効果的なマルチモーダル学習に重要であることを示す,最初の体系的,情報理論的な分析法を提案する。
• 参考スコア（独自算出の注目度）: 22.0664097791142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning hinges on capturing redundant, unique, and synergistic information across modalities, which collectively constitute multimodal interactions. A critical yet underexplored challenge is that these implicit interactions vary dynamically across samples. In this work, we present the first systematic, information-theoretic analysis highlighting why learning these dynamic, sample-specific interactions is critical for effective multimodal learning. Our analysis further reveals deficits in conventional paradigms at learning these distinct interaction types: modality ensemble approaches struggle to capture synergy, while joint learning paradigms often under-utilize redundant information. This highlights the need for an approach that can adaptively learn from different interaction types on a per-sample basis. To this end, we propose Decomposition-based Multimodal Interaction Learning (DMIL), a novel paradigm that explicitly models and learns from sample-specific interactions. First, we design a variational decomposition architecture to isolate the constituent interaction components. Second, we employ a new learning strategy that leverages these explicit interaction components in a fine-tuning process to achieve comprehensive interaction learning. Extensive experiments across diverse tasks and architectures demonstrate that DMIL consistently achieves superior performance by adapting to holistic sample-specific interactions. Our framework is flexible and broadly applicable, establishing an interaction-centric paradigm for multimodal learning. The code is available at https://github.com/GeWu-Lab/DMIL.
• Abstract（参考訳）: マルチモーダル学習は、多モーダル相互作用を構成するモダリティをまたいだ冗長、一意、シナジスティックな情報の収集に重点を置いている。 これらの暗黙の相互作用は、サンプル間で動的に変化する。 本研究では,これらの動的サンプル特異的相互作用を学習することが,効果的なマルチモーダル学習に重要であることを強調した最初の体系的情報理論分析を提示する。 我々の分析は、これらの異なる相互作用のタイプを学ぶための従来のパラダイムの欠点をさらに明らかにしている: モダリティアンサンブルアプローチは、シナジーを捉えるのに苦労する一方で、共同学習パラダイムは、しばしば冗長な情報を過小評価する。 これは、サンプルごとに異なるインタラクションタイプから適応的に学習できるアプローチの必要性を強調します。 そこで本研究では,サンプル固有のインタラクションをモデル化し,学習する新しいパラダイムである,分解型マルチモーダルインタラクション学習(DMIL)を提案する。 まず、構成的相互作用成分を分離する変動分解アーキテクチャを設計する。 第2に、これらの明示的な相互作用を微調整プロセスで活用し、包括的な相互作用学習を実現するための新しい学習戦略を採用する。 様々なタスクやアーキテクチャにわたる大規模な実験により、DMILは総合的なサンプル固有の相互作用に適応することで、一貫して優れた性能を発揮することが示されている。 我々のフレームワークは柔軟で広く適用でき、マルチモーダル学習のための相互作用中心のパラダイムを確立します。 コードはhttps://github.com/GeWu-Lab/DMILで公開されている。

関連論文リスト

• Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
  ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。 以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。 本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:58Z)
• MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts [92.76662894585809]
  MMOE(Multimodal Mixtures of Experts)と呼ばれるマルチモーダルモデルの拡張手法を導入する。 MMoEは様々な種類のモデルに適用でき、改善できる。
  論文  参考訳（メタデータ） (2023-11-16T05:31:21Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Coarse-to-Fine Knowledge-Enhanced Multi-Interest Learning Framework for Multi-Behavior Recommendation [52.89816309759537]
  マルチタイプの行動(例えば、クリック、カートの追加、購入など)は、ほとんどの現実世界のレコメンデーションシナリオに広く存在する。 最先端のマルチ振る舞いモデルは、すべての歴史的相互作用を入力として区別しない振る舞い依存を学習する。 本稿では,多様な行動に対する共有的・行動特異的な関心を学習するための,多目的学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-03T05:28:14Z)
• Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis [18.4364234071951]
  我々は,三モーダル表現のハイブリッドコントラスト学習のための新しいフレームワークHyConを提案する。 具体的には,モーダル内・モーダル内コントラスト学習と半コントラスト学習を同時に行う。 提案手法は既存の作業より優れている。
  論文  参考訳（メタデータ） (2021-09-04T06:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。