論文の概要: Multimodal Classification via Total Correlation Maximization

• arxiv url: http://arxiv.org/abs/2602.13015v1
• Date: Fri, 13 Feb 2026 15:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:54.006095
• Title: Multimodal Classification via Total Correlation Maximization
• Title（参考訳）: 全相関最大化によるマルチモーダル分類
• Authors: Feng Yu, Xiangyu Wu, Yang Yang, Jianfeng Lu,
• Abstract要約: マルチモーダル学習は、多様なセンサからのデータを統合して、さまざまなモーダルからの情報を活用する。 近年の研究では、ジョイントラーニングが他を無視しながら特定のモダリティに過度に適合していることが示されており、非モダリティラーニングよりもパフォーマンスが劣っている。 本稿では,マルチモーダル特徴量とラベルの相関関係を最大化することで,マルチモーダル分類の手法を提案する。
• 参考スコア（独自算出の注目度）: 11.720319082362629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning integrates data from diverse sensors to effectively harness information from different modalities. However, recent studies reveal that joint learning often overfits certain modalities while neglecting others, leading to performance inferior to that of unimodal learning. Although previous efforts have sought to balance modal contributions or combine joint and unimodal learning, thereby mitigating the degradation of weaker modalities with promising outcomes, few have examined the relationship between joint and unimodal learning from an information-theoretic perspective. In this paper, we theoretically analyze modality competition and propose a method for multimodal classification by maximizing the total correlation between multimodal features and labels. By maximizing this objective, our approach alleviates modality competition while capturing inter-modal interactions via feature alignment. Building on Mutual Information Neural Estimation (MINE), we introduce Total Correlation Neural Estimation (TCNE) to derive a lower bound for total correlation. Subsequently, we present TCMax, a hyperparameter-free loss function that maximizes total correlation through variational bound optimization. Extensive experiments demonstrate that TCMax outperforms state-of-the-art joint and unimodal learning approaches. Our code is available at https://github.com/hubaak/TCMax.
• Abstract（参考訳）: マルチモーダル学習は多様なセンサからのデータを統合し、異なるモーダルからの情報を効果的に活用する。 しかし、近年の研究では、共同学習が他を無視しながら特定のモダリティに過度に適合することが多く、一助学習よりも性能が劣っていることが示されている。 前回の取り組みでは、モダリティのバランスをとることや、共同学習と非モダリティ学習を組み合わせることで、より弱いモダリティの劣化を期待できる結果と軽減しようとする試みがあったが、情報理論の観点から、共同学習と非モダリティ学習の関係について検討する者は少なかった。 本稿では,モーダリティ競合を理論的に解析し,マルチモーダル特徴とラベルの相関関係を最大化してマルチモーダル分類法を提案する。 この目的を最大化することにより,特徴アライメントによるモーダル間相互作用を捕捉しながら,モダリティ競争を緩和する。 相互情報ニューラル推定 (MINE) に基づいて, 全相関の下位境界を導出するために全相関ニューラル推定 (TCNE) を導入する。 その後、変分境界最適化により全相関を最大化する超パラメータフリー損失関数TCMaxを提案する。 大規模な実験により、TCMaxは最先端の関節と一助学習のアプローチより優れていることが示された。 私たちのコードはhttps://github.com/hubaak/TCMax.comで公開されています。

関連論文リスト

• Balanced Multimodal Learning via Mutual Information [1.9336815376402718]
  本稿では,モダリティ間の相互作用を定量化するために相互情報を活用することで,モダリティの不均衡に対処する新しい統一フレームワークを提案する。 本手法では, クロスモーダル知識蒸留(KD)とマルチタスク型学習パラダイムの2つの主要な段階からなる, バランスの取れたマルチモーダル学習戦略を採用する。
  論文  参考訳（メタデータ） (2025-11-02T15:58:05Z)
• Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction [17.717216490402482]
  改良されたモダリティドロップアウトとコントラスト学習を統合した,新しいマルチモーダル学習フレームワークを提案する。 疾患検出および予測タスクのための大規模臨床データセットの枠組みを検証した。 本研究は,マルチモーダル学習におけるアプローチの有効性,効率,一般化性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-09-22T18:12:12Z)
• Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
  本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。 本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。 我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
  論文  参考訳（メタデータ） (2024-04-25T09:35:09Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。