論文の概要: On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective

• arxiv url: http://arxiv.org/abs/2009.04120v2
• Date: Mon, 14 Sep 2020 14:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 08:47:33.022272
• Title: On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective
• Title（参考訳）: 他の技法による知識蒸留の直交性について:アンサンブルの視点から
• Authors: SeongUk Park, KiYoon Yoo, Nojun Kwak
• Abstract要約: 知識蒸留は,効率的なニューラルネットワークを実用化するための強力な装置であることを示す。 また,知識蒸留を他の手法と効果的に統合する方法についても紹介する。
• 参考スコア（独自算出の注目度）: 34.494730096460636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To put a state-of-the-art neural network to practical use, it is necessary to design a model that has a good trade-off between the resource consumption and performance on the test set. Many researchers and engineers are developing methods that enable training or designing a model more efficiently. Developing an efficient model includes several strategies such as network architecture search, pruning, quantization, knowledge distillation, utilizing cheap convolution, regularization, and also includes any craft that leads to a better performance-resource trade-off. When combining these technologies together, it would be ideal if one source of performance improvement does not conflict with others. We call this property as the orthogonality in model efficiency. In this paper, we focus on knowledge distillation and demonstrate that knowledge distillation methods are orthogonal to other efficiency-enhancing methods both analytically and empirically. Analytically, we claim that knowledge distillation functions analogous to a ensemble method, bootstrap aggregating. This analytical explanation is provided from the perspective of implicit data augmentation property of knowledge distillation. Empirically, we verify knowledge distillation as a powerful apparatus for practical deployment of efficient neural network, and also introduce ways to integrate it with other methods effectively.
• Abstract（参考訳）: 最先端のニューラルネットワークを実用化するためには、テストセット上でのリソース消費とパフォーマンスのトレードオフが良好であるモデルを設計する必要がある。 多くの研究者やエンジニアが、モデルのトレーニングや設計をより効率的に行う方法を開発している。 効率的なモデルの開発には、ネットワークアーキテクチャの探索、刈り取り、量子化、知識の蒸留、安価な畳み込み、正規化、パフォーマンス・リソースのトレードオフにつながるあらゆる技術が含まれる。 これらの技術を組み合わせれば、あるパフォーマンス改善の源が他のものと矛盾しなければ理想的です。 この性質をモデル効率の直交性と呼んでいる。 本稿では, 知識蒸留に着目し, 分析的および経験的に他の効率向上法と直交する知識蒸留法を実証する。 分析的に, 知識蒸留機能は, アンサンブル法, ブートストラップ凝集法に類似していると主張した。 この分析的な説明は、知識蒸留の暗黙のデータ拡張特性の観点から得られる。 実験により,効率的なニューラルネットワークを実用化するための強力な装置として知識蒸留を検証し,他の手法と効果的に統合する方法を導入する。

関連論文リスト

• Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection [47.0507287491627]
  本稿では,物体検出のための知識の不確実性を考慮した特徴量に基づく蒸留パラダイムを提案する。 モンテカルロのドロップアウト手法を利用して,学生モデルの学習過程に知識の不確実性を導入する。 本手法は,複雑な構造や計算資源を必要とせずに,KDプロセス中に効果的に機能する。
  論文  参考訳（メタデータ） (2024-06-11T06:51:02Z)
• ReffAKD: Resource-efficient Autoencoder-based Knowledge Distillation [3.301728339780329]
  本稿では,資源量の多い教師モデルを必要としない知識蒸留効率を向上させる革新的な手法を提案する。 そこで本研究では,ソフトラベルを効率的に生成する手法を提案し,大規模な教師モデルの必要性を排除した。 CIFAR-100、Tiny Imagenet、Fashion MNISTなど、さまざまなデータセットに関する実験は、我々のアプローチの優れたリソース効率を実証している。
  論文  参考訳（メタデータ） (2024-04-15T15:54:30Z)
• Self-Knowledge Distillation via Dropout [0.7883397954991659]
  ドロップアウト(SD-Dropout)を用いた簡便かつ効果的な自己知識蒸留法を提案する。 我々の方法は、追加のトレーニング可能なモジュールを必要とせず、データに依存しず、単純な操作しか必要としない。
  論文  参考訳（メタデータ） (2022-08-11T05:08:55Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)
• A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models [3.770437296936382]
  本稿では, 知識蒸留の3つの重要な要素が, 知識と損失である, 教師-学生パラダイム, 蒸留プロセスである,という仮説から, 知識蒸留の特徴を概観する。 本稿では, 知識蒸留における今後の課題として, 性能向上の分析分析を研究対象とする説明可能な知識蒸留と, 深層学習コミュニティにおける熱い研究課題である自己教師型学習について述べる。
  論文  参考訳（メタデータ） (2020-11-30T05:22:02Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。