論文の概要: Meta-Learned Modality-Weighted Knowledge Distillation for Robust Multi-Modal Learning with Missing Data

• arxiv url: http://arxiv.org/abs/2405.07155v2
• Date: Tue, 12 Nov 2024 16:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:02.066648
• Title: Meta-Learned Modality-Weighted Knowledge Distillation for Robust Multi-Modal Learning with Missing Data
• Title（参考訳）: 欠落データを用いたロバストなマルチモーダル学習のためのメタラーニングモダリティ重み付き知識蒸留
• Authors: Hu Wang, Salma Hassan, Yuyuan Liu, Congbo Ma, Yuanhong Chen, Yutong Xie, Mostafa Salem, Yu Tian, Jodie Avery, Louise Hull, Ian Reid, Mohammad Yaqub, Gustavo Carneiro,
• Abstract要約: マルチモーダル学習では、いくつかのモダリティは他のモダリティよりも影響を受けており、それらの欠如は分類・分類精度に大きな影響を及ぼす可能性がある。 本稿では,メタ学習型モダリティ重み付き知識蒸留(MetaKD)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 26.81952369462594
• License:
• Abstract: In multi-modal learning, some modalities are more influential than others, and their absence can have a significant impact on classification/segmentation accuracy. Addressing this challenge, we propose a novel approach called Meta-learned Modality-weighted Knowledge Distillation (MetaKD), which enables multi-modal models to maintain high accuracy even when key modalities are missing. MetaKD adaptively estimates the importance weight of each modality through a meta-learning process. These learned importance weights guide a pairwise modality-weighted knowledge distillation process, allowing high-importance modalities to transfer knowledge to lower-importance ones, resulting in robust performance despite missing inputs. Unlike previous methods in the field, which are often task-specific and require significant modifications, our approach is designed to work in multiple tasks (e.g., segmentation and classification) with minimal adaptation. Experimental results on five prevalent datasets, including three Brain Tumor Segmentation datasets (BraTS2018, BraTS2019 and BraTS2020), the Alzheimer's Disease Neuroimaging Initiative (ADNI) classification dataset and the Audiovision-MNIST classification dataset, demonstrate the proposed model is able to outperform the compared models by a large margin.
• Abstract（参考訳）: マルチモーダル学習では、いくつかのモダリティは他のモダリティよりも影響を受けており、それらの欠如は分類・分類精度に大きな影響を及ぼす可能性がある。 この課題に対処するため,メタ学習型モダリティ重み付き知識蒸留(MetaKD)と呼ばれる新しい手法を提案する。 MetaKDは、メタ学習プロセスを通じて、各モードの重要性重みを適応的に推定する。 これらの学習された重み付けは、ペアワイズなモダリティ重み付き知識蒸留プロセスの導出であり、高い重要度モダリティが低い重要度に知識を移すことを可能にし、入力を欠いたにもかかわらず堅牢な性能をもたらす。 フィールドにおける従来の手法とは異なり、タスク固有であり、大幅な修正を必要とする場合が多いが、我々の手法は、最小限の適応で複数のタスク(例えば、セグメンテーションや分類)で機能するように設計されている。 3つの脳腫瘍セグメンテーションデータセット(BraTS2018、BraTS2019、BraTS2020)、アルツハイマー病神経画像イニシアチブ分類データセット(ADNI)、オーディオビジョン-MNIST分類データセット(Audiovision-MNIST分類データセット)の5つの実験結果は、提案されたモデルが比較モデルよりも大きなマージンで優れていることを示している。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
  HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。 本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。 アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
  論文  参考訳（メタデータ） (2024-07-30T12:13:18Z)
• GFE-Mamba: Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI [5.355943545567233]
  アルツハイマー病(英語: Alzheimer's Disease、AD)は、軽度認知障害(MCI)から進行する可逆性神経変性疾患である。 生成特徴抽出(GFE)に基づく分類器GFE-Mambaを紹介する。 評価尺度、MRI、PETのデータを統合し、より深いマルチモーダル融合を可能にする。 GFE-MambaモデルがMCIからADへの変換予測に有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-22T15:22:33Z)
• Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
  低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。 提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。 次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
  論文  参考訳（メタデータ） (2024-03-26T09:36:20Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• MetaVA: Curriculum Meta-learning and Pre-fine-tuning of Deep Neural Networks for Detecting Ventricular Arrhythmias based on ECGs [9.600976281032862]
  心室不整脈(VA)は突然の心臓死の主な原因である。 グループレベルの多様性を解決するために,カリキュラム学習法(CL)を用いたモデル非依存メタラーニング(MAML)を提案する。 利用可能なECGデータセットを3つ組み合わせて実験を行った。
  論文  参考訳（メタデータ） (2022-02-25T01:26:19Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Modality-specific Distillation [30.190082262375395]
  マルチモーダルデータセット上の教師から知識を効果的に伝達するモダリティ特異的蒸留(MSD)を提案する。 私たちのアイデアは、各モダリティの補助損失項を導入して、教師のモダリティ特異的予測を模倣することを目指しています。 各モダリティは予測に異なる重要性を持つため、補助的損失に対する重み付けアプローチも提案する。
  論文  参考訳（メタデータ） (2021-01-06T05:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。