論文の概要: Meta-Learned Modality-Weighted Knowledge Distillation for Robust Multi-Modal Learning with Missing Data

• arxiv url: http://arxiv.org/abs/2405.07155v2
• Date: Tue, 12 Nov 2024 16:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:02.066648
• Title: Meta-Learned Modality-Weighted Knowledge Distillation for Robust Multi-Modal Learning with Missing Data
• Title（参考訳）: 欠落データを用いたロバストなマルチモーダル学習のためのメタラーニングモダリティ重み付き知識蒸留
• Authors: Hu Wang, Salma Hassan, Yuyuan Liu, Congbo Ma, Yuanhong Chen, Yutong Xie, Mostafa Salem, Yu Tian, Jodie Avery, Louise Hull, Ian Reid, Mohammad Yaqub, Gustavo Carneiro,
• Abstract要約: マルチモーダル学習では、いくつかのモダリティは他のモダリティよりも影響を受けており、それらの欠如は分類・分類精度に大きな影響を及ぼす可能性がある。 本稿では,メタ学習型モダリティ重み付き知識蒸留(MetaKD)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 26.81952369462594
• License:
• Abstract: In multi-modal learning, some modalities are more influential than others, and their absence can have a significant impact on classification/segmentation accuracy. Addressing this challenge, we propose a novel approach called Meta-learned Modality-weighted Knowledge Distillation (MetaKD), which enables multi-modal models to maintain high accuracy even when key modalities are missing. MetaKD adaptively estimates the importance weight of each modality through a meta-learning process. These learned importance weights guide a pairwise modality-weighted knowledge distillation process, allowing high-importance modalities to transfer knowledge to lower-importance ones, resulting in robust performance despite missing inputs. Unlike previous methods in the field, which are often task-specific and require significant modifications, our approach is designed to work in multiple tasks (e.g., segmentation and classification) with minimal adaptation. Experimental results on five prevalent datasets, including three Brain Tumor Segmentation datasets (BraTS2018, BraTS2019 and BraTS2020), the Alzheimer's Disease Neuroimaging Initiative (ADNI) classification dataset and the Audiovision-MNIST classification dataset, demonstrate the proposed model is able to outperform the compared models by a large margin.
• Abstract（参考訳）: マルチモーダル学習では、いくつかのモダリティは他のモダリティよりも影響を受けており、それらの欠如は分類・分類精度に大きな影響を及ぼす可能性がある。 この課題に対処するため,メタ学習型モダリティ重み付き知識蒸留(MetaKD)と呼ばれる新しい手法を提案する。 MetaKDは、メタ学習プロセスを通じて、各モードの重要性重みを適応的に推定する。 これらの学習された重み付けは、ペアワイズなモダリティ重み付き知識蒸留プロセスの導出であり、高い重要度モダリティが低い重要度に知識を移すことを可能にし、入力を欠いたにもかかわらず堅牢な性能をもたらす。 フィールドにおける従来の手法とは異なり、タスク固有であり、大幅な修正を必要とする場合が多いが、我々の手法は、最小限の適応で複数のタスク(例えば、セグメンテーションや分類)で機能するように設計されている。 3つの脳腫瘍セグメンテーションデータセット(BraTS2018、BraTS2019、BraTS2020)、アルツハイマー病神経画像イニシアチブ分類データセット(ADNI)、オーディオビジョン-MNIST分類データセット(Audiovision-MNIST分類データセット)の5つの実験結果は、提案されたモデルが比較モデルよりも大きなマージンで優れていることを示している。

関連論文リスト

• GFE-Mamba: Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI [5.355943545567233]
  アルツハイマー病(英語: Alzheimer's Disease、AD)は、軽度認知障害(MCI)から進行する可逆性神経変性疾患である。 生成特徴抽出(GFE)に基づく分類器GFE-Mambaを紹介する。 評価尺度、MRI、PETのデータを統合し、より深いマルチモーダル融合を可能にする。 GFE-MambaモデルがMCIからADへの変換予測に有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-22T15:22:33Z)
• Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning [6.44069573245889]
  脳腫瘍のセグメンテーションは、特にマルチモーダルMRI(Multi-modal magnetic resonance imaging)における重要な課題である。 本稿では,不完全なモダリティデータから頑健な特徴学習を可能にする,マスク付き予測事前学習方式を提案する。 微調整段階において、我々は知識蒸留技術を用いて、完全なモダリティデータと欠落したモダリティデータの間に特徴を整列させ、同時にモデルロバスト性を向上する。
  論文  参考訳（メタデータ） (2024-06-12T20:35:16Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation [12.308579499188921]
  肝臓がんは世界中で最も多いがんの1つである。 本稿では,マルチモーダルCT画像の統合による肝腫瘍切除の自動化に焦点をあてる。 そこで本研究では,肝腫瘍セグメント化を効果的かつ堅牢にするための新たな相互学習(ML)戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-21T02:24:31Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。