論文の概要: Gradient-Guided Modality Decoupling for Missing-Modality Robustness

• arxiv url: http://arxiv.org/abs/2402.16318v1
• Date: Mon, 26 Feb 2024 05:50:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 14:36:43.855289
• Title: Gradient-Guided Modality Decoupling for Missing-Modality Robustness
• Title（参考訳）: 欠如モダリティのロバスト性に対する勾配誘導モダリティデカップリング
• Authors: Hao Wang, Shengda Luo, Guosheng Hu and Jianguo Zhang
• Abstract要約: 我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。 本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。 さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
• 参考スコア（独自算出の注目度）: 24.95911972867697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning with incomplete input data (missing modality) is practical and challenging. In this work, we conduct an in-depth analysis of this challenge and find that modality dominance has a significant negative impact on the model training, greatly degrading the missing modality performance. Motivated by Grad-CAM, we introduce a novel indicator, gradients, to monitor and reduce modality dominance which widely exists in the missing-modality scenario. In aid of this indicator, we present a novel Gradient-guided Modality Decoupling (GMD) method to decouple the dependency on dominating modalities. Specifically, GMD removes the conflicted gradient components from different modalities to achieve this decoupling, significantly improving the performance. In addition, to flexibly handle modal-incomplete data, we design a parameter-efficient Dynamic Sharing (DS) framework which can adaptively switch on/off the network parameters based on whether one modality is available. We conduct extensive experiments on three popular multimodal benchmarks, including BraTS 2018 for medical segmentation, CMU-MOSI, and CMU-MOSEI for sentiment analysis. The results show that our method can significantly outperform the competitors, showing the effectiveness of the proposed solutions. Our code is released here: https://github.com/HaoWang420/Gradient-guided-Modality-Decoupling.
• Abstract（参考訳）: 不完全な入力データ(モダリティを欠く)によるマルチモーダル学習は実践的で難しい。 本研究では,この課題を深く分析し,モダリティ優位がモデルトレーニングに重大な悪影響を及ぼすこと,モダリティ性能の欠如が著しく低下していることを見出す。 Grad-CAMによってモチベーションされた新しい指標である勾配を導入し、欠落したモダリティシナリオに広く存在するモダリティ優位性を監視し、低減する。 この指標を補助として, 支配的モダリティへの依存性を分離する新しい勾配誘導モダリティデカップリング(gmd)法を提案する。 具体的には、GMDはこの分離を実現するために異なるモードから競合する勾配成分を除去し、性能を著しく改善する。 さらに,モーダル不完全データを柔軟に扱えるように,パラメータ効率のよい動的共有(DS)フレームワークを設計し,一つのモダリティが利用できるかどうかに基づいて,ネットワークパラメータのオン/オフを適応的に切り替える。 医療セグメント化のためのBraTS 2018、感情分析のためのCMU-MOSI、CMU-MOSEIを含む3つの人気のあるマルチモーダルベンチマークについて広範な実験を行った。 その結果,提案手法は,提案手法の有効性を実証し,競争相手を著しく上回る結果が得られた。 私たちのコードはここでリリースされます。 https://github.com/haowang420/gradient-guided-modality-decoupling。

関連論文リスト

• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Mind the Gap: Promoting Missing Modality Brain Tumor Segmentation with Alignment [21.571977754383518]
  多発性磁気共鳴画像(MRI)による脳腫瘍の分節 臨床ではMRIの特定のモダリティが欠如している可能性があるため、さらに困難なシナリオが提示される。 本稿では,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-28T14:37:42Z)
• MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment [20.358300924109162]
  臨床ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。 知識蒸留、ドメイン適応、共有潜在空間は一般的に有望な戦略として現れている。 本稿では,事前学習モデルの置換として,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T13:16:30Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification [27.75907274034702]
  我々は,能率VI-ReIDのためのPMT(Progressive Modality-Shared Transformer)という新しいディープラーニングフレームワークを提案する。 モダリティギャップの負の効果を低減するために、まず、グレースケールの画像を補助的なモダリティとして捉え、進歩的な学習戦略を提案する。 クラス内差が大きく,クラス間差が少ない問題に対処するために,識別中心損失を提案する。
  論文  参考訳（メタデータ） (2022-12-01T02:20:16Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。