論文の概要: Multimodal Classification via Total Correlation Maximization

• arxiv url: http://arxiv.org/abs/2602.13015v1
• Date: Fri, 13 Feb 2026 15:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:54.006095
• Title: Multimodal Classification via Total Correlation Maximization
• Title（参考訳）: 全相関最大化によるマルチモーダル分類
• Authors: Feng Yu, Xiangyu Wu, Yang Yang, Jianfeng Lu,
• Abstract要約: マルチモーダル学習は、多様なセンサからのデータを統合して、さまざまなモーダルからの情報を活用する。 近年の研究では、ジョイントラーニングが他を無視しながら特定のモダリティに過度に適合していることが示されており、非モダリティラーニングよりもパフォーマンスが劣っている。 本稿では,マルチモーダル特徴量とラベルの相関関係を最大化することで,マルチモーダル分類の手法を提案する。
• 参考スコア（独自算出の注目度）: 11.720319082362629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning integrates data from diverse sensors to effectively harness information from different modalities. However, recent studies reveal that joint learning often overfits certain modalities while neglecting others, leading to performance inferior to that of unimodal learning. Although previous efforts have sought to balance modal contributions or combine joint and unimodal learning, thereby mitigating the degradation of weaker modalities with promising outcomes, few have examined the relationship between joint and unimodal learning from an information-theoretic perspective. In this paper, we theoretically analyze modality competition and propose a method for multimodal classification by maximizing the total correlation between multimodal features and labels. By maximizing this objective, our approach alleviates modality competition while capturing inter-modal interactions via feature alignment. Building on Mutual Information Neural Estimation (MINE), we introduce Total Correlation Neural Estimation (TCNE) to derive a lower bound for total correlation. Subsequently, we present TCMax, a hyperparameter-free loss function that maximizes total correlation through variational bound optimization. Extensive experiments demonstrate that TCMax outperforms state-of-the-art joint and unimodal learning approaches. Our code is available at https://github.com/hubaak/TCMax.
• Abstract（参考訳）: マルチモーダル学習は多様なセンサからのデータを統合し、異なるモーダルからの情報を効果的に活用する。 しかし、近年の研究では、共同学習が他を無視しながら特定のモダリティに過度に適合することが多く、一助学習よりも性能が劣っていることが示されている。 前回の取り組みでは、モダリティのバランスをとることや、共同学習と非モダリティ学習を組み合わせることで、より弱いモダリティの劣化を期待できる結果と軽減しようとする試みがあったが、情報理論の観点から、共同学習と非モダリティ学習の関係について検討する者は少なかった。 本稿では,モーダリティ競合を理論的に解析し,マルチモーダル特徴とラベルの相関関係を最大化してマルチモーダル分類法を提案する。 この目的を最大化することにより,特徴アライメントによるモーダル間相互作用を捕捉しながら,モダリティ競争を緩和する。 相互情報ニューラル推定 (MINE) に基づいて, 全相関の下位境界を導出するために全相関ニューラル推定 (TCNE) を導入する。 その後、変分境界最適化により全相関を最大化する超パラメータフリー損失関数TCMaxを提案する。 大規模な実験により、TCMaxは最先端の関節と一助学習のアプローチより優れていることが示された。 私たちのコードはhttps://github.com/hubaak/TCMax.comで公開されています。

関連論文リスト

• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• Balanced Multimodal Learning via Mutual Information [1.9336815376402718]
  本稿では,モダリティ間の相互作用を定量化するために相互情報を活用することで,モダリティの不均衡に対処する新しい統一フレームワークを提案する。 本手法では, クロスモーダル知識蒸留(KD)とマルチタスク型学習パラダイムの2つの主要な段階からなる, バランスの取れたマルチモーダル学習戦略を採用する。
  論文  参考訳（メタデータ） (2025-11-02T15:58:05Z)
• Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction [17.717216490402482]
  改良されたモダリティドロップアウトとコントラスト学習を統合した,新しいマルチモーダル学習フレームワークを提案する。 疾患検出および予測タスクのための大規模臨床データセットの枠組みを検証した。 本研究は,マルチモーダル学習におけるアプローチの有効性,効率,一般化性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-09-22T18:12:12Z)
• Asymmetric Reinforcing against Multi-modal Representation Bias [59.685072206359855]
  マルチモーダル表現バイアス(ARM)に対する非対称強化法を提案する。 我々のARMは、条件付き相互情報を通じて支配的なモダリティを表現する能力を維持しながら、弱いモダリティを動的に強化する。 我々はマルチモーダル学習の性能を著しく改善し、不均衡なマルチモーダル学習の軽減に顕著な進展をもたらした。
  論文  参考訳（メタデータ） (2025-01-02T13:00:06Z)
• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• Optimal Transport Guided Correlation Assignment for Multimodal Entity Linking [20.60198596317328]
  マルチモーダルエンティティリンクは、マルチモーダルなコンテキストにおける曖昧な言及をマルチモーダルな知識グラフ内のエンティティにリンクすることを目的としている。 既存の手法は、自動的に学習された注意重みに大きく依存して、いくつかの局所的な相関機構を試行する。 本稿では,OT-MELを用いた新しいMELフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
  本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。 本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。 我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
  論文  参考訳（メタデータ） (2024-04-25T09:35:09Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。