論文の概要: QuickNets: Saving Training and Preventing Overconfidence in Early-Exit
Neural Architectures
- arxiv url: http://arxiv.org/abs/2212.12866v1
- Date: Sun, 25 Dec 2022 07:06:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 13:31:41.104199
- Title: QuickNets: Saving Training and Preventing Overconfidence in Early-Exit
Neural Architectures
- Title(参考訳): QuickNets: 初期のニューラルネットワークにおけるトレーニングの削減と過信防止
- Authors: Devdhar Patel and Hava Siegelmann
- Abstract要約: ニューラルネットワークの高速トレーニングのための新しいカスケードトレーニングアルゴリズムであるQuickNetsを紹介した。
我々はQuickNetsが学習を動的に分散し、標準的なバックプロパゲーションと比較してトレーニングコストと推論コストを削減できることを実証した。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks have long training and processing times. Early exits
added to neural networks allow the network to make early predictions using
intermediate activations in the network in time-sensitive applications.
However, early exits increase the training time of the neural networks. We
introduce QuickNets: a novel cascaded training algorithm for faster training of
neural networks. QuickNets are trained in a layer-wise manner such that each
successive layer is only trained on samples that could not be correctly
classified by the previous layers. We demonstrate that QuickNets can
dynamically distribute learning and have a reduced training cost and inference
cost compared to standard Backpropagation. Additionally, we introduce
commitment layers that significantly improve the early exits by identifying for
over-confident predictions and demonstrate its success.
- Abstract(参考訳): ディープニューラルネットワークは長いトレーニングと処理時間を持つ。
ニューラルネットワークに追加された早期の出口により、ネットワークは時間に敏感なアプリケーションにおいて、ネットワークの中間活性化を使用して早期の予測を行うことができる。
しかし、早期出口はニューラルネットワークのトレーニング時間を増加させる。
ニューラルネットワークの高速トレーニングのための新しいカスケードトレーニングアルゴリズムであるQuickNetsを紹介する。
クイックネットは、各連続した層が、前の層で正しく分類できないサンプルでのみ訓練されるように、層ごとに訓練される。
我々はQuickNetsが学習を動的に分散し、標準的なバックプロパゲーションと比較してトレーニングコストと推論コストを低減できることを示した。
さらに,自信過剰な予測を識別し,その成功を実証することで早期出口を著しく改善するコミットメント層を導入する。
関連論文リスト
- End-To-End Set-Based Training for Neural Network Verification [10.089345165782918]
安全に重要な環境は、入力の摂動に対して堅牢なニューラルネットワークを必要とする。
我々は、堅牢なニューラルネットワークをトレーニングして正式な検証を行う、エンドツーエンドのセットベーストレーニング手順を採用している。
多くの場合、セットベースでトレーニングされたニューラルネットワークは、最先端の敵攻撃でトレーニングされたニューラルネットワークより優れている。
論文 参考訳(メタデータ) (2024-01-26T15:52:41Z) - Sensitivity-Based Layer Insertion for Residual and Feedforward Neural
Networks [0.3831327965422187]
ニューラルネットワークのトレーニングには、面倒でしばしば手動でネットワークアーキテクチャをチューニングする必要がある。
トレーニングプロセス中に新しいレイヤを挿入する体系的手法を提案する。
論文 参考訳(メタデータ) (2023-11-27T16:44:13Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳(メタデータ) (2023-06-02T13:02:52Z) - Hierarchical Training of Deep Neural Networks Using Early Exiting [50.49194837327223]
深層ニューラルネットワークは、ビジョンタスクに最先端の精度を提供するが、トレーニングにはかなりのリソースを必要とする。
ディープニューラルネットワークは、データを取得するエッジデバイスから遠く離れたクラウドサーバでトレーニングされる。
エッジとクラウドワーカ間の分割アーキテクチャにおいて,早期出口を用いた新しい階層的ニューラルネットワークトレーニング手法が提案されている。
論文 参考訳(メタデータ) (2023-03-04T11:30:16Z) - SparseProp: Efficient Sparse Backpropagation for Faster Training of
Neural Networks [20.18957052535565]
トレーニング中のニューラルネットワークの重みが不足している場合に特化して、バックプロパゲーションアルゴリズムの新たな効率的なバージョンを提供する。
我々のアルゴリズムは、任意の(非構造的な)スパーシリティと共通層タイプに適用されるため、一般的なものである。
我々は、すでに分離されたネットワークを用いたトランスファーラーニングや、スパースネットワークをスクラッチからトレーニングすることで、エンドツーエンドのランタイム実験で高速化できることを示す。
論文 参考訳(メタデータ) (2023-02-09T18:54:05Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳(メタデータ) (2022-08-01T20:31:58Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳(メタデータ) (2021-06-28T10:48:20Z) - Taylorized Training: Towards Better Approximation of Neural Network
Training at Finite Width [116.69845849754186]
Taylorized Trainingは、ニューラルネットワークの$k$-orderTaylor拡張をトレーニングする。
我々は、Taylorized Trainingが完全なニューラルネットワークトレーニングに同意していることを示します。
本実験は, 広帯域ニューラルネットワークにおいて, 近似誤差$k$-階Taylorized Modelが指数関数的に$k$以上減衰することを示す理論的結果と相補する。
論文 参考訳(メタデータ) (2020-02-10T18:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。