論文の概要: NetDistiller: Empowering Tiny Deep Learning via In-Situ Distillation

• arxiv url: http://arxiv.org/abs/2310.19820v1
• Date: Tue, 24 Oct 2023 04:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-05 13:28:16.191521
• Title: NetDistiller: Empowering Tiny Deep Learning via In-Situ Distillation
• Title（参考訳）: NetDistiller:in-situ蒸留によるTiny Deep Learningの強化
• Authors: Shunyao Zhang, Yonggan Fu, Shang Wu, Jyotikrishna Dass, Haoran You, Yingyan (Celine) Lin
• Abstract要約: 我々はTNNの達成可能な精度を高めるためにNetDistillerというフレームワークを提案する。 このフレームワークは、TNNのチャンネル数を拡大することによって構築された、ウェイトシェアリングの教師のサブネットワークとして扱う。 私たちのコードはhttps://github.com/GATECH-EIC/NetDistiller.comから入手可能です。
• 参考スコア（独自算出の注目度）: 19.93322471957759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Boosting the task accuracy of tiny neural networks (TNNs) has become a fundamental challenge for enabling the deployments of TNNs on edge devices which are constrained by strict limitations in terms of memory, computation, bandwidth, and power supply. To this end, we propose a framework called NetDistiller to boost the achievable accuracy of TNNs by treating them as sub-networks of a weight-sharing teacher constructed by expanding the number of channels of the TNN. Specifically, the target TNN model is jointly trained with the weight-sharing teacher model via (1) gradient surgery to tackle the gradient conflicts between them and (2) uncertainty-aware distillation to mitigate the overfitting of the teacher model. Extensive experiments across diverse tasks validate NetDistiller's effectiveness in boosting TNNs' achievable accuracy over state-of-the-art methods. Our code is available at https://github.com/GATECH-EIC/NetDistiller.
• Abstract（参考訳）: 小さなニューラルネットワーク(TNN)のタスク精度を高めることは、メモリ、計算、帯域幅、電源の制限によって制限されるエッジデバイスへのTNNのデプロイを可能にするための根本的な課題となっている。 そこで本研究では,TNNのチャネル数を拡大して構築した重み共有教師のサブネットワークとして扱うことにより,TNNの達成可能な精度を高めるためのNetDistillerというフレームワークを提案する。 具体的には, 目標TNNモデルと, 1) 勾配の衝突に対処するための勾配手術と(2) 教師モデルの過度な適合を緩和するための不確実性を考慮した蒸留を通じて, 重み付け教師モデルとの共同訓練を行う。 多様なタスクにわたる大規模な実験は、最先端の手法よりも達成可能なTNNの精度を高めるNetDistillerの有効性を検証する。 私たちのコードはhttps://github.com/GATECH-EIC/NetDistiller.comから入手可能です。

関連論文リスト

• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Quantum-Inspired Tensor Neural Networks for Option Pricing [4.3942901219301564]
  近年の深層学習の進歩により,高次元の問題を解くことで,次元性の呪い(COD)に対処することが可能になった。 このようなCODに対処するアプローチのサブセットは、高次元PDEの解決に繋がった。 この結果、数学的な金融から産業用途の制御まで、様々な現実世界の問題を解決するための扉が開けた。
  論文  参考訳（メタデータ） (2022-12-28T19:39:55Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Strengthening the Training of Convolutional Neural Networks By Using Walsh Matrix [0.0]
  分類性能を向上させるため,DNNのトレーニングと構造を変更した。 畳み込みニューラルネットワーク(CNN)の最後の層に続く最小距離ネットワーク(MDN)が分類器として使用される。 異なる領域では、ノード数が少ないDivFEを使用することでより高い分類性能が得られたことが観察されている。
  論文  参考訳（メタデータ） (2021-03-31T18:06:11Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)
• Dynamically Throttleable Neural Networks (TNN) [24.052859278938858]
  ディープニューラルネットワーク(DNN)の条件計算は、全体の計算負荷を削減し、ネットワークのサブセットを実行することでモデルの精度を向上させる。 我々は,自身のパフォーマンス目標と計算資源を適応的に自己制御できるランタイムスロットルブルニューラルネットワーク(TNN)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T20:17:42Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。