論文の概要: Visualizing the embedding space to explain the effect of knowledge distillation

• arxiv url: http://arxiv.org/abs/2110.04483v1
• Date: Sat, 9 Oct 2021 07:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-17 02:38:47.062262
• Title: Visualizing the embedding space to explain the effect of knowledge distillation
• Title（参考訳）: 知識蒸留の効果を説明するための埋蔵空間の可視化
• Authors: Hyun Seung Lee, Christian Wallraven
• Abstract要約: 近年の研究では、知識蒸留はネットワークのサイズを減らすのに有効であることが判明している。 これらの進歩にもかかわらず、この方法がなぜ機能するのか、つまり、結果として生じる学生モデルが「どう機能するか」は、いまだに不明である。
• 参考スコア（独自算出の注目度）: 5.678337324555035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research has found that knowledge distillation can be effective in reducing the size of a network and in increasing generalization. A pre-trained, large teacher network, for example, was shown to be able to bootstrap a student model that eventually outperforms the teacher in a limited label environment. Despite these advances, it still is relatively unclear \emph{why} this method works, that is, what the resulting student model does 'better'. To address this issue, here, we utilize two non-linear, low-dimensional embedding methods (t-SNE and IVIS) to visualize representation spaces of different layers in a network. We perform a set of extensive experiments with different architecture parameters and distillation methods. The resulting visualizations and metrics clearly show that distillation guides the network to find a more compact representation space for higher accuracy already in earlier layers compared to its non-distilled version.
• Abstract（参考訳）: 近年の研究では、知識蒸留はネットワークのサイズを減らし、一般化を促進するのに有効であることがわかった。 例えば、事前訓練された大規模な教師ネットワークは、限られたラベル環境で教師を上回る学生モデルをブートストラップできることが示されている。 これらの進歩にもかかわらず、この方法は比較的不明瞭であり、つまり、結果の学生モデルが' better' を行うものである。 そこで本稿では,2つの非線形低次元埋め込み手法(t-sneとivis)を用いて,ネットワーク内の異なるレイヤの表現空間を可視化する。 異なるアーキテクチャパラメータと蒸留法を用いて, 広範囲にわたる実験を行った。 結果として得られた可視化とメトリクスは、蒸留がよりコンパクトな表現空間を見つけるためのネットワークを導いてくれることをはっきりと示している。

関連論文リスト

• Faithful Label-free Knowledge Distillation [8.572967695281054]
  本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。 より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
  論文  参考訳（メタデータ） (2024-11-22T01:48:44Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• It's All in the Head: Representation Knowledge Distillation through Classifier Sharing [0.29360071145551075]
  教師と学生間の分類器共有による表現蒸留の促進のための2つのアプローチを提案する。 提案手法は, 画像分類, きめ細かい分類, 顔認証など, 様々なデータセットやタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-01-18T13:10:36Z)
• SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation [14.739041141948032]
  特徴回帰は、大きなニューラルネットワークモデルをより小さなものに蒸留する簡単な方法である。 ネットワークアーキテクチャに簡単な変更を加えると、レグレッションは知識蒸留のためのより複雑な最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-13T18:41:46Z)
• Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
  いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T13:06:25Z)
• Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
  最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。 蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。 ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
  論文  参考訳（メタデータ） (2021-06-09T17:20:40Z)
• Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits [25.140055086630838]
  本論文では,畳み込みニューラルネットワーク(CNN)の分類性能を改善するための知識蒸留に基づく新しい学習法を提案する。 教師が生徒にのみ教える従来の蒸留の概念とは異なり、生徒は他の生徒や教師がもっとよく学ぶのを助けることができる。
  論文  参考訳（メタデータ） (2021-04-01T07:10:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。