論文の概要: Enhancing Multi-modal Learning: Meta-learned Cross-modal Knowledge Distillation for Handling Missing Modalities
- arxiv url: http://arxiv.org/abs/2405.07155v1
- Date: Sun, 12 May 2024 04:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 18:08:19.415432
- Title: Enhancing Multi-modal Learning: Meta-learned Cross-modal Knowledge Distillation for Handling Missing Modalities
- Title（参考訳）: マルチモーダル・ラーニングの強化:メタ学習型クロスモーダル・ナレッジ蒸留
- Authors: Hu Wang, Congbo Ma, Yuyuan Liu, Yuanhong Chen, Yu Tian, Jodie Avery, Louise Hull, Gustavo Carneiro,
- Abstract要約: 本稿では,メタ学習型クロスモーダル知識蒸留(MCKD)と呼ばれる新しい手法を提案する。
MCKDはメタラーニングプロセスを通じて各モードの重要性重みを適応的に推定する。
このクロスモーダルな知識蒸留は、影響力のあるモダリティがなくても非常に正確なモデルを生成する。
- 参考スコア（独自算出の注目度）: 18.125425452619574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-modal learning, some modalities are more influential than others, and their absence can have a significant impact on classification/segmentation accuracy. Hence, an important research question is if it is possible for trained multi-modal models to have high accuracy even when influential modalities are absent from the input data. In this paper, we propose a novel approach called Meta-learned Cross-modal Knowledge Distillation (MCKD) to address this research question. MCKD adaptively estimates the importance weight of each modality through a meta-learning process. These dynamically learned modality importance weights are used in a pairwise cross-modal knowledge distillation process to transfer the knowledge from the modalities with higher importance weight to the modalities with lower importance weight. This cross-modal knowledge distillation produces a highly accurate model even with the absence of influential modalities. Differently from previous methods in the field, our approach is designed to work in multiple tasks (e.g., segmentation and classification) with minimal adaptation. Experimental results on the Brain tumor Segmentation Dataset 2018 (BraTS2018) and the Audiovision-MNIST classification dataset demonstrate the superiority of MCKD over current state-of-the-art models. Particularly in BraTS2018, we achieve substantial improvements of 3.51\% for enhancing tumor, 2.19\% for tumor core, and 1.14\% for the whole tumor in terms of average segmentation Dice score.
- Abstract（参考訳）: マルチモーダル学習では、いくつかのモダリティは他のモダリティよりも影響を受けており、それらの欠如は分類・分類精度に大きな影響を及ぼす可能性がある。
したがって、トレーニングされたマルチモーダルモデルが、入力データから影響力のあるモダリティが欠如している場合でも、高い精度を持つことができるかどうかが重要な研究課題である。
本稿では,メタ学習型クロスモーダル知識蒸留(MCKD)と呼ばれる新しい手法を提案する。
MCKDはメタラーニングプロセスを通じて各モードの重要性重みを適応的に推定する。
これらの動的に学習されたモダリティの重要性重みは、重みの大きいモダリティから重みの低いモダリティへ知識を移すために、対方向のクロスモーダルな知識蒸留プロセスで使用される。
このクロスモーダルな知識蒸留は、影響力のあるモダリティがなくても非常に正確なモデルを生成する。
従来の手法と異なり、本手法は最小限の適応で複数のタスク(例えば、セグメンテーションや分類)で機能するように設計されている。
Brain tumor Segmentation Dataset 2018 (BraTS2018)とAudiovision-MNIST分類データセットの実験結果は、現在の最先端モデルよりもMCKDの方が優れていることを示している。
特に BraTS2018 では, 腫瘍増強率 3.51 %, 腫瘍コア率 2.19 %, 腫瘍全体に対する 1.14 % が平均セグメンテーションDice スコアで有意に改善した。
関連論文リスト
- Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。
本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。
アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
論文 参考訳（メタデータ） (2024-07-30T12:13:18Z) - GFE-Mamba: Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI [5.355943545567233]
アルツハイマー病(英語: Alzheimer's Disease、AD)は、軽度認知障害(MCI)から進行する可逆性神経変性疾患である。
生成特徴抽出(GFE)に基づく分類器GFE-Mambaを紹介する。
評価尺度、MRI、PETのデータを統合し、より深いマルチモーダル融合を可能にする。
GFE-MambaモデルがMCIからADへの変換予測に有効であることを示す。
論文 参考訳（メタデータ） (2024-07-22T15:22:33Z) - Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。
提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。
次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
論文 参考訳（メタデータ） (2024-03-26T09:36:20Z) - Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。
これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。
実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。
特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
論文 参考訳（メタデータ） (2024-01-27T19:44:15Z) - Improving Discriminative Multi-Modal Learning with Large-Scale
Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。
MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文 参考訳（メタデータ） (2023-10-08T15:01:54Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - MetaVA: Curriculum Meta-learning and Pre-fine-tuning of Deep Neural
Networks for Detecting Ventricular Arrhythmias based on ECGs [9.600976281032862]
心室不整脈(VA)は突然の心臓死の主な原因である。
グループレベルの多様性を解決するために,カリキュラム学習法(CL)を用いたモデル非依存メタラーニング(MAML)を提案する。
利用可能なECGデータセットを3つ組み合わせて実験を行った。
論文 参考訳（メタデータ） (2022-02-25T01:26:19Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-10-29T02:12:18Z) - Modality-specific Distillation [30.190082262375395]
マルチモーダルデータセット上の教師から知識を効果的に伝達するモダリティ特異的蒸留(MSD)を提案する。
私たちのアイデアは、各モダリティの補助損失項を導入して、教師のモダリティ特異的予測を模倣することを目指しています。
各モダリティは予測に異なる重要性を持つため、補助的損失に対する重み付けアプローチも提案する。
論文 参考訳（メタデータ） (2021-01-06T05:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。