論文の概要: Self-Distillation Amplifies Regularization in Hilbert Space

• arxiv url: http://arxiv.org/abs/2002.05715v3
• Date: Mon, 26 Oct 2020 17:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 10:01:33.103238
• Title: Self-Distillation Amplifies Regularization in Hilbert Space
• Title（参考訳）: 自己蒸留はヒルベルト空間における正則化を増幅する
• Authors: Hossein Mobahi, Mehrdad Farajtabar, Peter L. Bartlett
• Abstract要約: 自己蒸留は、あるアーキテクチャから別のアーキテクチャへ知識を移す方法である。 この研究は、自己蒸留に関する最初の理論的分析を提供する。 自己蒸留は、解を表すのに使える基底関数の数を漸進的に制限することで正則化を変化させることを示す。
• 参考スコア（独自算出の注目度）: 48.44660047970882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation introduced in the deep learning context is a method to transfer knowledge from one architecture to another. In particular, when the architectures are identical, this is called self-distillation. The idea is to feed in predictions of the trained model as new target values for retraining (and iterate this loop possibly a few times). It has been empirically observed that the self-distilled model often achieves higher accuracy on held out data. Why this happens, however, has been a mystery: the self-distillation dynamics does not receive any new information about the task and solely evolves by looping over training. To the best of our knowledge, there is no rigorous understanding of this phenomenon. This work provides the first theoretical analysis of self-distillation. We focus on fitting a nonlinear function to training data, where the model space is Hilbert space and fitting is subject to $\ell_2$ regularization in this function space. We show that self-distillation iterations modify regularization by progressively limiting the number of basis functions that can be used to represent the solution. This implies (as we also verify empirically) that while a few rounds of self-distillation may reduce over-fitting, further rounds may lead to under-fitting and thus worse performance.
• Abstract（参考訳）: ディープラーニングコンテキストで導入された知識蒸留は、あるアーキテクチャから別のアーキテクチャへ知識を移す方法である。 特に、建築が同一の場合、これを自己蒸留と呼ぶ。 その考え方は、トレーニングされたモデルの予測を、再トレーニングのための新しいターゲット値として(そして、このループを数回繰り返して)与えることである。 自己蒸留モデルが保持データに対して高い精度を達成することが実証されている。 自己蒸留ダイナミクスはタスクに関する新たな情報を受け取っておらず、トレーニングをループすることでのみ進化します。 私たちの知る限りでは、この現象について厳密な理解はない。 この研究は、自己蒸留に関する最初の理論的分析を提供する。 我々は、モデル空間がヒルベルト空間であり、この関数空間で$\ell_2$正規化されるような非線型関数をトレーニングデータに適用することに集中する。 自己蒸留の繰り返しは、解を表すのに使える基底関数の数を漸進的に制限することで正規化を変更することを示す。 これは、数ラウンドの自己蒸留が過剰フィッティングを減少させる可能性があるが、さらなるラウンドが過剰フィッティングにつながる可能性があり、その結果パフォーマンスが低下することを示している(実証的に確認する)。

関連論文リスト

• Understanding the Gains from Repeated Self-Distillation [65.53673000292079]
  自己蒸留は、学生モデルが教師モデルと同じアーキテクチャを持つ知識蒸留の一種である。 多段階の自己蒸留によって達成される余剰リスクは、単段階の自己蒸留において著しく改善できることを示す。 UCIレポジトリの回帰タスクに関する実証的な結果は、学習モデルのリスク(MSE)を最大47%削減することを示している。
  論文  参考訳（メタデータ） (2024-07-05T15:48:34Z)
• Towards a theory of model distillation [0.0]
  蒸留は、複雑な機械学習モデルを、オリジナルを近似するより単純なモデルに置き換える作業である。 ニューラルネットワークを簡潔で明確な決定木表現に効率的に抽出する方法を示す。 我々は, 蒸留がスクラッチから学習するよりもはるかに安価であることを証明するとともに, その複雑さを特徴づけることを進める。
  論文  参考訳（メタデータ） (2024-03-14T02:42:19Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Revisiting Self-Distillation [50.29938732233947]
  自己蒸留とは、大きなモデル(教師)からよりコンパクトなモデル(生徒)に「知識」を移す手順である。 いくつかの作品では、自給自足の生徒が保持されたデータで教師より優れているという逸話がある。 我々は、自己蒸留がより平坦なミニマムをもたらすことを示すための広範な実験を行い、その結果、より良い一般化をもたらす。
  論文  参考訳（メタデータ） (2022-06-17T00:18:51Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Towards Understanding Knowledge Distillation [37.71779364624616]
  知識蒸留は、分類器間の知識伝達において、経験的に非常に成功した技術である。 この現象の十分な理論的説明はない。 本稿では, 線形および深部線形分類器の特別事例を考察することにより, 蒸留の作業機構に関する最初の知見を提供する。
  論文  参考訳（メタデータ） (2021-05-27T12:45:08Z)
• Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation [0.0]
  ネットワークアーキテクチャが同一である自己蒸留は、一般化精度を向上させるために観測されている。 我々は, 逐次ステップがモデル出力と接地目標の両方を組み込む, カーネル回帰設定における自己蒸留の反復的変種を考える。 自己蒸留により得られるそのような関数は、初期フィットの関数として直接計算でき、無限蒸留ステップは増幅正規化により元のものと同じ最適化問題をもたらす。
  論文  参考訳（メタデータ） (2021-02-25T18:56:09Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。