論文の概要: QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures

• arxiv url: http://arxiv.org/abs/2212.12866v1
• Date: Sun, 25 Dec 2022 07:06:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:31:41.104199
• Title: QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures
• Title（参考訳）: QuickNets: 初期のニューラルネットワークにおけるトレーニングの削減と過信防止
• Authors: Devdhar Patel and Hava Siegelmann
• Abstract要約: ニューラルネットワークの高速トレーニングのための新しいカスケードトレーニングアルゴリズムであるQuickNetsを紹介した。 我々はQuickNetsが学習を動的に分散し、標準的なバックプロパゲーションと比較してトレーニングコストと推論コストを削減できることを実証した。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks have long training and processing times. Early exits added to neural networks allow the network to make early predictions using intermediate activations in the network in time-sensitive applications. However, early exits increase the training time of the neural networks. We introduce QuickNets: a novel cascaded training algorithm for faster training of neural networks. QuickNets are trained in a layer-wise manner such that each successive layer is only trained on samples that could not be correctly classified by the previous layers. We demonstrate that QuickNets can dynamically distribute learning and have a reduced training cost and inference cost compared to standard Backpropagation. Additionally, we introduce commitment layers that significantly improve the early exits by identifying for over-confident predictions and demonstrate its success.
• Abstract（参考訳）: ディープニューラルネットワークは長いトレーニングと処理時間を持つ。 ニューラルネットワークに追加された早期の出口により、ネットワークは時間に敏感なアプリケーションにおいて、ネットワークの中間活性化を使用して早期の予測を行うことができる。 しかし、早期出口はニューラルネットワークのトレーニング時間を増加させる。 ニューラルネットワークの高速トレーニングのための新しいカスケードトレーニングアルゴリズムであるQuickNetsを紹介する。 クイックネットは、各連続した層が、前の層で正しく分類できないサンプルでのみ訓練されるように、層ごとに訓練される。 我々はQuickNetsが学習を動的に分散し、標準的なバックプロパゲーションと比較してトレーニングコストと推論コストを低減できることを示した。 さらに,自信過剰な予測を識別し,その成功を実証することで早期出口を著しく改善するコミットメント層を導入する。

関連論文リスト

• Algebraic Representations for Faster Predictions in Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。 スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-14T21:10:05Z)
• LNPT: Label-free Network Pruning and Training [18.535687216213624]
  トレーニング前のプルーニングは、ニューラルネットワークをスマートデバイスにデプロイすることを可能にする。 我々は,クラウド上の成熟したネットワークが,ラベルのないデータを持つスマートデバイス上でのネットワークプルーニングと学習のオンラインガイダンスを提供するための,新しい学習フレームワーク LNPT を提案する。
  論文  参考訳（メタデータ） (2024-03-19T12:49:09Z)
• Set-Based Training for Neural Network Verification [8.97708612393722]
  小さな入力摂動はニューラルネットワークの出力に大きな影響を与える。 安全クリティカルな環境では、入力はノイズの多いセンサーデータを含むことが多い。 我々は、堅牢なニューラルネットワークをトレーニングして正式な検証を行う、エンドツーエンドのセットベーストレーニング手順を採用している。
  論文  参考訳（メタデータ） (2024-01-26T15:52:41Z)
• Sensitivity-Based Layer Insertion for Residual and Feedforward Neural Networks [0.3831327965422187]
  ニューラルネットワークのトレーニングには、面倒でしばしば手動でネットワークアーキテクチャをチューニングする必要がある。 トレーニングプロセス中に新しいレイヤを挿入する体系的手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:44:13Z)
• SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks [20.18957052535565]
  トレーニング中のニューラルネットワークの重みが不足している場合に特化して、バックプロパゲーションアルゴリズムの新たな効率的なバージョンを提供する。 我々のアルゴリズムは、任意の(非構造的な)スパーシリティと共通層タイプに適用されるため、一般的なものである。 我々は、すでに分離されたネットワークを用いたトランスファーラーニングや、スパースネットワークをスクラッチからトレーニングすることで、エンドツーエンドのランタイム実験で高速化できることを示す。
  論文  参考訳（メタデータ） (2023-02-09T18:54:05Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width [116.69845849754186]
  Taylorized Trainingは、ニューラルネットワークの$k$-orderTaylor拡張をトレーニングする。 我々は、Taylorized Trainingが完全なニューラルネットワークトレーニングに同意していることを示します。 本実験は, 広帯域ニューラルネットワークにおいて, 近似誤差$k$-階Taylorized Modelが指数関数的に$k$以上減衰することを示す理論的結果と相補する。
  論文  参考訳（メタデータ） (2020-02-10T18:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。