Fugu-MT 論文翻訳(概要): Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix

論文の概要: Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix

arxiv url: http://arxiv.org/abs/2112.11447v1
Date: Tue, 21 Dec 2021 18:53:58 GMT
ステータス: 処理完了
システム内更新日: 2021-12-22 13:21:49.600055
Title: Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix
Title（参考訳）: 教師のモダリティレベルグラムマトリックスの学習によるマルチモーダル蒸留
Authors: Peng Liu
Abstract要約: 教員ネットワークのモダリティ関係情報を学生ネットワークに学習させる必要がある。教師から生徒への知識の伝達を効果的に活用するために、異なるモダリティ間の関係情報をモデル化して、新しいモダリティ関係蒸留パラダイムを採用する。
参考スコア（独自算出の注目度）: 3.4793807018498555
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the context of multi-modality knowledge distillation research, the existing methods was mainly focus on the problem of only learning teacher final output. Thus, there are still deep differences between the teacher network and the student network. It is necessary to force the student network to learn the modality relationship information of the teacher network. To effectively exploit transfering knowledge from teachers to students, a novel modality relation distillation paradigm by modeling the relationship information among different modality are adopted, that is learning the teacher modality-level Gram Matrix.
Abstract（参考訳）: マルチモーダルな知識蒸留研究の文脈では、既存の手法は主に教師の最終結果のみを学習する問題に焦点を当てていた。このように、教師ネットワークと学生ネットワークの間にはまだ深い違いがある。生徒ネットワークに教師ネットワークのモダリティ関係情報を学ぶよう強制する必要がある。教師から生徒への知識伝達を効果的に活用するため、教師モダリティレベルグラムマトリックスを学習する異なるモダリティ間の関係情報をモデル化し、新しいモダリティ関係蒸留パラダイムを採用する。

関連論文リスト

Enhanced Multimodal Representation Learning with Cross-modal KD [14.14709952127258]
本稿では,クロスモーダル知識蒸留(KD)によるマルチモーダル表現学習の強化のために,訓練時にのみ利用できる補助的モダリティの活用について検討する。広く採用されている相互情報に基づく目的は、弱教師のショートカットソリューション、すなわち、教師モデルを学生モデルと同じくらい弱くすることで、最大限の相互情報を達成することにつながる。このような弱解を避けるため、教師と補助モダリティモデルの間の相互情報という追加目的語を導入する。
論文参考訳（メタデータ） (2023-06-13T09:35:37Z)
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning [16.293262022872412]
適応型多教師知識蒸留とメタラーニング(MMKD)を提案する。メタウェイトネットワークの助けを借りて、出力層と中間層における多様な教師の知識を活用し、生徒のパフォーマンスを向上させる。
論文参考訳（メタデータ） (2023-06-11T09:38:45Z)
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks [28.215073725175728]
マルチ教師による知識蒸留とネットワーク量子化を併用した,低ビット幅DNN学習のための新しいフレームワークを提案する。 CIFAR100 と ImageNet のデータセットを用いた実験結果から,本手法で訓練した小型量子化学生モデルによる競争結果が得られた。
論文参考訳（メタデータ） (2022-10-27T01:03:39Z)
Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文参考訳（メタデータ） (2022-07-18T02:41:04Z)
Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。知識蒸留は教師から知識を抽出し、対象モデルと統合する。教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
論文参考訳（メタデータ） (2022-05-04T06:49:47Z)
Iterative Teacher-Aware Learning [136.05341445369265]
人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
論文参考訳（メタデータ） (2021-10-01T00:27:47Z)
Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
論文参考訳（メタデータ） (2021-03-31T06:52:20Z)
Student Network Learning via Evolutionary Knowledge Distillation [22.030934154498205]
教師知識の伝達効率を改善するための進化的知識蒸留手法を提案する。進化的教師は、固定された予習教師の代わりにオンラインで学習され、学生ネットワーク学習を監督するために、中間的知識を継続的に伝達する。このようにして、学生は豊富な内部知識を同時に獲得し、その成長過程を捉え、効果的なネットワーク学習につながる。
論文参考訳（メタデータ） (2021-03-23T02:07:15Z)
Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文参考訳（メタデータ） (2020-07-03T03:22:04Z)
Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
論文参考訳（メタデータ） (2020-05-16T02:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。