論文の概要: Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2108.11798v1
- Date: Thu, 26 Aug 2021 14:01:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-27 19:05:23.313221
- Title: Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation
- Title(参考訳): オンライン自己獲得知識蒸留を用いた軽量ニューラルネットワークの効率的な学習
- Authors: Maria Tzelepi and Anastasios Tefas
- Abstract要約: オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
- 参考スコア(独自算出の注目度): 51.66271681532262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Distillation has been established as a highly promising approach
for training compact and faster models by transferring knowledge from
heavyweight and powerful models. However, KD in its conventional version
constitutes an enduring, computationally and memory demanding process. In this
paper, Online Self-Acquired Knowledge Distillation (OSAKD) is proposed, aiming
to improve the performance of any deep neural model in an online manner. We
utilize k-nn non-parametric density estimation technique for estimating the
unknown probability distributions of the data samples in the output feature
space. This allows us for directly estimating the posterior class probabilities
of the data samples, and we use them as soft labels that encode explicit
information about the similarities of the data with the classes, negligibly
affecting the computational cost. The experimental evaluation on four datasets
validates the effectiveness of proposed method.
- Abstract(参考訳): 知識蒸留は、重厚で強力なモデルから知識を伝達することで、コンパクトで高速なモデルを訓練するための非常に有望なアプローチとして確立されている。
しかし、従来のkdは永続的、計算的、メモリ要求のプロセスを構成する。
本稿では, オンライン自己獲得知識蒸留(OSAKD)を提案し, ディープニューラルモデルの性能をオンライン的に向上することを目的とした。
出力特徴空間におけるデータサンプルの未知確率分布の推定にk-nnノンパラメトリック密度推定法を用いる。
これにより、データサンプルの後方クラス確率を直接推定することができ、それらをソフトラベルとして使用し、クラスとの類似性に関する明示的な情報を符号化し、計算コストに悪影響を及ぼす。
4つのデータセットの実験的評価により,提案手法の有効性が検証された。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Distilling Privileged Multimodal Information for Expression Recognition
using Optimal Transport [48.93868076986549]
本稿では、エントロピー規則化されたOTが構造的な暗黒知識を蒸留する最適輸送(OT)に基づく新しい構造的KD機構を提案する。
痛み推定と覚醒価予測の2つの異なる問題について実験を行った。
論文 参考訳(メタデータ) (2024-01-27T19:44:15Z) - KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳(メタデータ) (2023-10-16T06:19:29Z) - Optimal Sample Selection Through Uncertainty Estimation and Its
Application in Deep Learning [22.410220040736235]
コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。
提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
論文 参考訳(メタデータ) (2023-09-05T14:06:33Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳(メタデータ) (2023-05-10T11:10:09Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Neural Capacity Estimators: How Reliable Are They? [14.904387585122851]
我々は、相互情報神経推定器(MINE)、スムーズな相互情報下界推定器(SMILE)、情報指向神経推定器(DINE)の性能について検討した。
我々は,AWGNチャネル,光強度チャネル,ピーク電力制約AWGNチャネルに接近する入力分布を学習する能力の観点から,これらのアルゴリズムを評価する。
論文 参考訳(メタデータ) (2021-11-14T18:14:53Z) - Deep Data Density Estimation through Donsker-Varadhan Representation [5.276937617129594]
我々は,深層ニューラルネットワークとドンスカー・バラダン変分法を用いて,KL偏差に基づくデータ密度を簡易かつ効果的に推定する手法を提案する。
本研究では,ドンスカー・バラダン表現におけるデータと一様分布の発散に関する最適批判関数が,データ密度を推定できることを示した。
論文 参考訳(メタデータ) (2021-04-14T03:38:32Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z) - Adversarial Self-Supervised Data-Free Distillation for Text
Classification [13.817252068643066]
本稿では,Adversarial Self-Supervised Data-Free Distillation (AS-DFD) という新しい2段階の無添加蒸留法を提案する。
我々のフレームワークは、NLPタスク用に設計された最初のデータフリー蒸留フレームワークである。
論文 参考訳(メタデータ) (2020-10-10T02:46:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。