論文の概要: Mitigating Strong-Modality Collapse in Multimodal Learning via Inverted Asymmetric Fusion

• arxiv url: http://arxiv.org/abs/2608.26879v1
• Date: Thu, 27 Aug 2026 09:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.332441
• Title: Mitigating Strong-Modality Collapse in Multimodal Learning via Inverted Asymmetric Fusion
• Title（参考訳）: 逆非対称核融合による多モード学習における強モード崩壊の軽減
• Abstract要約: モーダル間の相互の注意を強制しない逆非対称核融合を提案する。 テキスト優位データセット (MultiHuSE, UR-FUNNY) と音声視覚優位データセット (MUStARD) の3つの指標を用いてIAFを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fusing multiple modalities is expected to improve model performance. However, on the MultiHuSE dataset, early, late, and symmetric attention fusion often fail to outperform the best unimodal baseline (text). Pathway isolation of a symmetric attention fusion model reveals that the text-pathway accuracy drops from 74.9% to 56.4% after fusion in one such setting, indicating that the dominant modality can be degraded during integration. We term this strong-modality collapse and argue that it helps explain why some multimodal models fail to surpass unimodal baselines. We propose Inverted Asymmetric Fusion (IAF), which avoids forcing mutual attention across modalities. The dominant modality is preserved by passing through fusion unchanged, while weaker modalities attend to it as a contextual anchor. Before fusion, weaker modalities are strengthened using Modality-Aware Knowledge Distillation. We evaluate IAF on three benchmarks with different modality hierarchies: text-dominant datasets (MultiHuSE, UR-FUNNY) and an audio-visual-dominant dataset (MUStARD). Pathway isolation shows that IAF preserves the dominant modality's internal accuracy at its unimodal ceiling across all tested configurations, whereas symmetric fusion degrades it by up to 18.5% on MultiHuSE. IAF improves over the strongest unimodal baseline by up to 8.25%.
• Abstract（参考訳）: 複数のモダリティを融合させることで、モデルの性能が向上することが期待されている。 しかし、MultiHuSEデータセットでは、早期、後期、対称的なアテンション融合は、最高のユニモーダルベースライン(テキスト)を上回っないことが多い。 対称的な注意融合モデルの経路分離により、テキストパスの精度は、融合後の74.9%から56.4%に低下し、統合時に支配的なモダリティが低下することを示す。 この強いモダリティの崩壊を表現し、なぜいくつかのマルチモーダルモデルが単調なベースラインを超えないのかを説明するのに役立つと論じる。 Inverted Asymmetric Fusion (IAF) を提案する。 支配的なモダリティは核融合を通り抜けることによって保存されるが、弱いモダリティは文脈的アンカーとしてそれに参加する。 融合前は、モダリティ・アウェア・ナレッジ蒸留(Modality-Aware Knowledge Distillation)を用いて弱いモダリティを強化する。 我々は,テキスト優位データセット (MultiHuSE, UR-FUNNY) と音声視覚優位データセット (MUStARD) の3つの指標を用いてIAFを評価する。 経路分離は、IAFが試験された全ての構成において一方向の天井において支配的なモダリティの内部精度を保っていることを示しているが、対称核融合はMultiHuSEで最大18.5%低下している。 IAFは最強の単調ベースラインを最大8.25%改善する。

関連論文リスト

• More Perspectives, Stronger Signals: Multi-Perspective Enhancement and Progressive Fusion for Multimodal Entity Representation Learning [6.4639268448773946]
  多様な入力から強い信号を抽出するために、プログレッシブフュージョンとマルチパースペクティブエンハンスメントを相乗化する統合フレームワークであるPrismFを提案する。 PrismFは、各モダリティを相補的なビューに分解するマルチパースペクティブメカニズムを通じて、細粒なモーダル内セマンティクスを強化する。 実験の結果、PrismFはMRRの4.04%とKVC16KのHits@1の11.17%の相対的な改善を含む、最も高い総合的なパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-08-29T08:29:43Z)
• Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era [22.36803510099264]
  マルチブランチアーキテクチャとCNNトランスフォーマー融合は、車種再識別(Re-ID)を改善する効果的な方法として長年検討されてきた。 調整されたレシピで訓練された単一のDINOv3-pretrained ConvNeXtは、VeRi-Wild Smallで88.19 mAP、VeRi-Wild Largeで77.47 mAPを達成する。 さらに、非対称凍結アンカー戦略を用いて、ConvNeXtとVision Transformer表現を組み合わせたクロスバックボーン融合について検討する。
  論文  参考訳（メタデータ） (2026-07-24T08:10:53Z)
• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis [20.73891715749963]
  本稿では,多粒性ルーティングと不確実性を考慮したキャリブレーションを組み合わせた信頼性を考慮した融合手法を提案する。 MRUFは、感情関連表現を要約し、サブスペースとモダリティレベルのルーティングを実行し、モーダリティのルーティングを調整し、アウト・ワン・エラーの増加でモーダリティのルーティングを監督し、発話レベルのモダリティの重要性を推定する。
  論文  参考訳（メタデータ） (2026-07-12T06:32:54Z)
• Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
  Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。 MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-09T06:38:36Z)
• URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection [17.19666367498091]
  マルチモーダルサルカズム検出(MSD)は,テキストと画像間の意味的不一致から皮肉な意図を識別することを目的としている。 本稿では,対話や融合におけるモダリティの信頼性を明示的にモデル化する統一フレームワークであるUncertainty-aware Robust Multimodal Fusion (URMF)を提案する。 URMFは、強い単調、マルチモーダル、MLLMベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-08T06:50:43Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• Progressively Modality Freezing for Multi-Modal Entity Alignment [27.77877721548588]
  本稿では,アライメント関連特徴に焦点をあてた,PMFと呼ばれる進行モード凍結の新たな戦略を提案する。 特に,本手法では,モーダル整合性を高めるために,クロスモーダルなアソシエーション損失を先駆的に導入する。 9つのデータセットの実証的な評価により、PMFの優位性が確認された。
  論文  参考訳（メタデータ） (2024-07-23T04:22:30Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition [46.443866373546726]
  ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。 本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。 提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
  論文  参考訳（メタデータ） (2022-03-28T14:09:43Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。