論文の概要: Multimodal Information Interactions Bottleneck for Multimodal Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2611.07718v1
• Date: Thu, 05 Nov 2026 09:37:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.638665
• Title: Multimodal Information Interactions Bottleneck for Multimodal Self-Supervised Learning
• Title（参考訳）: マルチモーダル学習のためのマルチモーダル情報インタラクション
• Abstract要約: マルチモーダルインタラクションにおいて冗長でユニークでシナジスティックな情報を明示的に符号化するフレームワークを提案する。 MIIBは、過剰な情報を抑制しながら、複雑なクロスモーダル相互作用を効率的にキャプチャする。 様々なベンチマークによる実験では、最先端のマルチモーダルな自己管理手法よりも一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 84.48114834133737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal self-supervised learning is challenged by heterogeneity, unequal informativeness, and complex information interactions across multimodal data sources such as images, text, audio, and tabular data. While contrastive methods effectively align shared semantics, they typically rely on strong multi-view redundancy assumptions, overlooking modality-specific and synergistic information, thus leading to suboptimal representations. We propose the Multimodal Information Interactions Bottleneck (MIIB), a principled framework grounded in Partial Information Decomposition that explicitly encodes redundant, unique, and synergistic information within multimodal interactions. MIIB employs a dual-path model architecture for modality-specific encoding and multimodal fusion, optimized using surrogate tractable entropy-based objectives that enforce minimal sufficient representations without requiring explicit mutual information estimation. By leveraging variational bounds and score-based entropy estimation, MIIB efficiently captures complex cross-modal interactions while suppressing superfluous information. Experiments across diverse benchmarks demonstrate consistent improvements over state-of-the-art multimodal self-supervised methods. Code is available at https://github.com/wanglingzaishi/MIIB.
• Abstract（参考訳）: マルチモーダル自己教師型学習は、画像、テキスト、オーディオ、表データなどのマルチモーダルデータソース間での異質性、不等な情報伝達、複雑な情報相互作用によって挑戦される。 コントラスト的手法は共有意味論を効果的に整合させるが、それらは典型的には強い多視点冗長性の仮定に依存し、モダリティ固有の情報や相乗的情報を見越して、最適でない表現をもたらす。 本稿では,多モードインタラクションにおける冗長性,一意性,相乗的情報を明示的に符号化する部分情報分解に基づく基本的フレームワークであるMIIB(Multimodal Information Interactions Bottleneck)を提案する。 MIIBは、モダリティ固有のエンコーディングとマルチモーダル融合のためのデュアルパスモデルアーキテクチャを採用しており、明示的な相互情報推定を必要とせず、最小限の表現を強制するサロゲートトラクタブルエントロピーに基づく目的を最適化している。 変動境界とスコアベースのエントロピー推定を利用することで、MIIBは過剰な情報を抑えながら複雑なクロスモーダル相互作用を効率的に捉える。 様々なベンチマークによる実験では、最先端のマルチモーダルな自己管理手法よりも一貫した改善が示されている。 コードはhttps://github.com/wanglingzaishi/MIIB.comで入手できる。

関連論文リスト

• Dependency, Compression, and Synergy: A Unified Information-Theoretic View of Multimodal Learning [66.81869882333264]
  相互情報(MI)、情報ボトルネック(IB)、部分情報分解(PID)は相補的な視点を提供する。 MIはモーダル間の依存性を特徴付け、IBは圧縮下でのタスク指向の情報保存を説明し、PIDは保存された情報を冗長性、特異性、シナジーに分解する。
  論文  参考訳（メタデータ） (2026-09-13T10:43:11Z)
• MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
  MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。 MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。 MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。 4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
  論文  参考訳（メタデータ） (2026-08-15T07:41:10Z)
• Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations [4.67724003380452]
  マルチモーダル学習は異種情報源からの情報を統合することを目的としており、そこでは信号はモダリティ間で共有され、個々のモダリティに特有であり、相互作用を通してのみ現れる。 自己教師型マルチモーダルコントラスト学習は目覚ましい進歩を遂げてきたが、既存の手法のほとんどは冗長なクロスモーダル信号を捉え、しばしばモダリティ固有の(一意的な)情報や相互作用駆動の(シネルジスティックな)情報を無視している。 最近の拡張は、この視点を広げるが、それらは相乗的相互作用を明示的にモデル化したり、異なる情報コンポーネントを絡み合った方法で学習することに失敗し、不完全な表現と潜在的な情報漏洩につながる。 基本的枠組みである textbfCOrAL を導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:06:53Z)
• Multimodal Representation-disentangled Information Bottleneck for Multimodal Recommendation [36.338586087343806]
  我々はMRdIB(Multimodal Representation-disentangled Information Bottleneck)という新しいフレームワークを提案する。 具体的には,まず,入力表現を圧縮するためにマルチモーダル・インフォメーション・ボトルネックを用いる。 そして,レコメンデーションターゲットとの関係に基づいて,情報をユニークで冗長な,シナジスティックなコンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-09-24T15:18:32Z)
• REMOTE: A Unified Multimodal Relation Extraction Framework with Multilevel Optimal Transport and Mixture-of-Experts [20.43650235783012]
  マルチモーダル関係抽出(MRE)は知識グラフとマルチメディアの分野において重要な課題である。 本稿では,マルチレベル最適輸送と混合実験を用いた新しいテキスト化マルチモーダル関係抽出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-05T06:52:03Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Multimodal Information Bottleneck: Learning Minimal Sufficient Unimodal and Multimodal Representations [27.855467591358018]
  マルチモーダル・インフォメーション・ボトルネック (MIB) を導入し, 強力かつ十分なマルチモーダル表現の学習を目指す。 情報制約の異なる視点に焦点を合わせるために,MIB の3つの変種,すなわちアーリーフュージョン MIB,レイトフュージョン MIB,フルMIB を開発した。 実験結果から,提案手法はマルチモーダル感情分析とマルチモーダル感情認識のタスクにおいて,最先端の性能に達することが示唆された。
  論文  参考訳（メタデータ） (2022-10-31T16:14:18Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。