論文の概要: The Modality Focusing Hypothesis: On the Blink of Multimodal Knowledge
Distillation
- arxiv url: http://arxiv.org/abs/2206.06487v1
- Date: Mon, 13 Jun 2022 21:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 14:13:09.577574
- Title: The Modality Focusing Hypothesis: On the Blink of Multimodal Knowledge
Distillation
- Title(参考訳): 仮説に焦点をあてるモダリティ:多モード知識蒸留のリンクについて
- Authors: Zihui Xue, Zhengqi Gao, Sucheng Ren, Hang Zhao
- Abstract要約: マルチモーダル知識蒸留は、伝統的な知識蒸留をマルチモーダル学習の領域にまで拡張する。
1つの一般的な実践は、パフォーマンス改善のために全知識を学生に伝達できることを期待して、よく演奏されたマルチモーダルネットワークを教師として採用することである。
- 参考スコア(独自算出の注目度): 16.399589194973814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal knowledge distillation (KD) extends traditional knowledge
distillation to the area of multimodal learning. One common practice is to
adopt a well-performed multimodal network as the teacher in the hope that it
can transfer its full knowledge to a unimodal student for performance
improvement. In this paper, we investigate the efficacy of multimodal KD. We
begin by providing two failure cases of it and demonstrate that KD is not a
universal cure in multimodal knowledge transfer. We present the modality Venn
diagram to understand modality relationships and the modality focusing
hypothesis revealing the decisive factor in the efficacy of multimodal KD.
Experimental results on 6 multimodal datasets help justify our hypothesis,
diagnose failure cases, and point directions to improve distillation
performance.
- Abstract(参考訳): マルチモーダル知識蒸留(英語版)(KD)は、伝統的な知識蒸留をマルチモーダル学習の領域にまで拡張する。
1つの一般的な実践は、パフォーマンス改善のために全知識を学生に伝達できることを期待して、優れたマルチモーダルネットワークを教師として採用することである。
本稿では,マルチモーダルKDの有効性について検討する。
まず2つの失敗事例を提供し、kdがマルチモーダル知識伝達における普遍的な治療法ではないことを示す。
本稿では,モダリティ関係を理解するためのモダリティベン図と,マルチモーダルKDの有効性の決定的要因を明らかにするモダリティ集中仮説を示す。
6つのマルチモーダルデータセットの実験結果は, 蒸留性能を改善するために, 仮説の正当化, 故障症例の診断, ポイント方向の特定に有用である。
関連論文リスト
- VideoAdviser: Video Knowledge Distillation for Multimodal Transfer
Learning [6.379202839994046]
マルチモーダル変換学習は、様々なモーダルの事前訓練された表現を、効果的なマルチモーダル融合のための共通の領域空間に変換することを目的としている。
本稿では,マルチモーダル基本モデルから特定のモーダル基本モデルへ,マルチモーダルなプロンプトのマルチモーダルな知識を伝達するためのビデオ知識蒸留手法であるVideoAdviserを提案する。
本手法は,映像レベルの感情分析と音声視覚検索の2つの課題において評価する。
論文 参考訳(メタデータ) (2023-09-27T08:44:04Z) - CMD: Self-supervised 3D Action Representation Learning with Cross-modal
Mutual Distillation [130.08432609780374]
3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。
本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。
提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
論文 参考訳(メタデータ) (2022-08-26T06:06:09Z) - Modality Competition: What Makes Joint Training of Multi-modal Network
Fail in Deep Learning? (Provably) [75.38159612828362]
最高のユニモーダルネットワークは、共同で訓練されたマルチモーダルネットワークよりも優れていることが観察されている。
この研究は、ニューラルネットワークにおけるそのようなパフォーマンスギャップの出現に関する理論的な説明を提供する。
論文 参考訳(メタデータ) (2022-03-23T06:21:53Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳(メタデータ) (2021-12-04T05:47:54Z) - Semi-Online Knowledge Distillation [2.373824287636486]
従来の知識蒸留(KD)は、大規模で訓練済みの教師ネットワークから小さな学生ネットワークへ知識を伝達することである。
学生ネットワークの協調学習を支援するために,Deep mutual learning (DML) が提案されている。
学生と教師のパフォーマンスを効果的に向上する半オンライン知識蒸留法(SOKD)を提案する。
論文 参考訳(メタデータ) (2021-11-23T09:44:58Z) - What Makes Multimodal Learning Better than Single (Provably) [28.793128982222438]
複数のモダリティを持つ学習は、モダリティのサブセットを使用することで、より少ない人口リスクを達成できることを示す。
これは、実際のマルチモーダル応用で観測された重要な定性的現象を捉えた最初の理論的治療である。
論文 参考訳(メタデータ) (2021-06-08T17:20:02Z) - Multimodal Knowledge Expansion [14.332957885505547]
ラベルを必要とせずにマルチモーダルデータを利用する知識蒸留に基づくフレームワークを提案する。
我々は、マルチモーダルな学生モデルが一貫して疑似ラベルを否定し、教師よりも優れた一般化を示す。
論文 参考訳(メタデータ) (2021-03-26T12:32:07Z) - Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
複数知識伝達(CTSL-MKT)による協調学習を提案する。
複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。
4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2021-01-21T07:17:04Z) - Modality-specific Distillation [30.190082262375395]
マルチモーダルデータセット上の教師から知識を効果的に伝達するモダリティ特異的蒸留(MSD)を提案する。
私たちのアイデアは、各モダリティの補助損失項を導入して、教師のモダリティ特異的予測を模倣することを目指しています。
各モダリティは予測に異なる重要性を持つため、補助的損失に対する重み付けアプローチも提案する。
論文 参考訳(メタデータ) (2021-01-06T05:45:07Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。