論文の概要: MetaMixer: A Regularization Strategy for Online Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2303.07951v1
- Date: Tue, 14 Mar 2023 14:49:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 14:46:34.580344
- Title: MetaMixer: A Regularization Strategy for Online Knowledge Distillation
- Title（参考訳）: MetaMixer: オンライン知識蒸留のための正規化戦略
- Authors: Maorong Wang, Ling Xiao, Toshihiko Yamasaki
- Abstract要約: 本稿では,ネットワークのローカライゼーション能力に影響を与える低レベルの知識と,画像全体に焦点を当てた高レベルの知識を組み合わせることで,蒸留を強化できる正規化戦略を提案する。
異なる条件下での実験では、MetaMixerは最先端の手法よりも大きなパフォーマンス向上を達成できることが示されている。
- 参考スコア（独自算出の注目度）: 32.990448633607464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online knowledge distillation (KD) has received increasing attention in
recent years. However, while most existing online KD methods focus on
developing complicated model structures and training strategies to improve the
distillation of high-level knowledge like probability distribution, the effects
of the multi-level knowledge in the online KD are greatly overlooked,
especially the low-level knowledge. Thus, to provide a novel viewpoint to
online KD, we propose MetaMixer, a regularization strategy that can strengthen
the distillation by combining the low-level knowledge that impacts the
localization capability of the networks, and high-level knowledge that focuses
on the whole image. Experiments under different conditions show that MetaMixer
can achieve significant performance gains over state-of-the-art methods.
- Abstract（参考訳）: 近年,オンライン知識蒸留(KD)が注目されている。
しかしながら、既存のオンラインKD手法の多くは、確率分布のような高レベルの知識の蒸留を改善するための複雑なモデル構造や訓練戦略の開発に重点を置いているが、オンラインKDにおける多レベルの知識の影響は、特に低レベルの知識を大きく見落としている。
そこで,本研究では,ネットワークのローカライゼーション能力に影響を与える低レベルの知識と,画像全体に焦点を当てた高レベルの知識を組み合わせることで,蒸留を強化するための正規化戦略であるMetaMixerを提案する。
異なる条件下での実験では、MetaMixerは最先端の手法よりも大きなパフォーマンス向上を達成できる。
関連論文リスト
- Weight Averaging Improves Knowledge Distillation under Domain Shift [0.0]
我々は,知識蒸留と領域一般化の研究分野のブリッジ化に向けて一歩前進する。
本研究では,SWAD や SMA などの領域一般化文学において提案される平均化技術により,ドメインシフトによる知識蒸留の性能が向上することを示す。
重度平均知識蒸留(WAKD)と命名した。
論文 参考訳（メタデータ） (2023-09-20T16:23:30Z) - Continual Multimodal Knowledge Graph Construction [62.77243705682985]
現在のマルチモーダル知識グラフ構築(MKGC)モデルは、絶え間なく出現する実体と関係の現実的なダイナミズムに苦慮している。
本研究では,連続的なMKGCドメインの開発を促進するためのベンチマークを紹介する。
マルチメディアデータ処理における既存のMKGCアプローチの欠点を克服するMSPTフレームワークを導入する。
論文 参考訳（メタデータ） (2023-05-15T14:58:28Z) - Understanding the Role of Mixup in Knowledge Distillation: An Empirical
Study [4.751886527142779]
Mixupは、2つのデータサンプル間の線形一般化による新しいサンプルの作成に基づく、一般的なデータ拡張技術である。
知識蒸留(KD)はモデル圧縮と伝達学習に広く用いられている。
スムースネス」は両者のつながりであり、KDとミックスアップの相互作用を理解する上でも重要な属性である。
論文 参考訳（メタデータ） (2022-11-08T01:43:14Z) - A Closer Look at Knowledge Distillation with Features, Logits, and
Gradients [81.39206923719455]
知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。
この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。
分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2022-03-18T21:26:55Z) - Meta Learning for Knowledge Distillation [12.716258111815312]
教師ネットワークは、学生ネットワークにより良い知識を伝達することを学ぶことができることを示す。
内部学習者とメタ学習者の整合性を改善するためのパイロット更新機構を導入する。
論文 参考訳（メタデータ） (2021-06-08T17:59:03Z) - Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
複数知識伝達(CTSL-MKT)による協調学習を提案する。
複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。
4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2021-01-21T07:17:04Z) - Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。
多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。
本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。
KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
論文 参考訳（メタデータ） (2020-12-05T00:32:04Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。