論文の概要: EDropout: Energy-Based Dropout and Pruning of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2006.04270v5
- Date: Mon, 7 Mar 2022 15:33:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:12:19.153544
- Title: EDropout: Energy-Based Dropout and Pruning of Deep Neural Networks
- Title（参考訳）: edropout:ディープニューラルネットワークのエネルギーベースのドロップアウトとプルーニング
- Authors: Hojjat Salehinejad and Shahrokh Valaee
- Abstract要約: 分類タスクにおけるニューラルネットワークのプルーニングのためのエネルギーベースフレームワークとしてEDropoutを提案する。
バイナリプルーニング状態ベクトルの集合(集団)は、任意の提供された元のニューラルネットワークから対応するサブネットワークの集合を表す。
EDropoutは、ネットワークアーキテクチャを変更することなく、典型的なニューラルネットワークをプルークすることができる。
- 参考スコア（独自算出の注目度）: 45.4796383952516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dropout is a well-known regularization method by sampling a sub-network from
a larger deep neural network and training different sub-networks on different
subsets of the data. Inspired by the dropout concept, we propose EDropout as an
energy-based framework for pruning neural networks in classification tasks. In
this approach, a set of binary pruning state vectors (population) represents a
set of corresponding sub-networks from an arbitrary provided original neural
network. An energy loss function assigns a scalar energy loss value to each
pruning state. The energy-based model stochastically evolves the population to
find states with lower energy loss. The best pruning state is then selected and
applied to the original network. Similar to dropout, the kept weights are
updated using backpropagation in a probabilistic model. The energy-based model
again searches for better pruning states and the cycle continuous. Indeed, this
procedure is in fact switching between the energy model, which manages the
pruning states, and the probabilistic model, which updates the temporarily
unpruned weights, in each iteration. The population can dynamically converge to
a pruning state. This can be interpreted as dropout leading to pruning the
network. From an implementation perspective, EDropout can prune typical neural
networks without modification of the network architecture. We evaluated the
proposed method on different flavours of ResNets, AlexNet, and SqueezeNet on
the Kuzushiji, Fashion, CIFAR-10, CIFAR-100, and Flowers datasets, and compared
the pruning rate and classification performance of the models. On average the
networks trained with EDropout achieved a pruning rate of more than $50\%$ of
the trainable parameters with approximately $<5\%$ and $<1\%$ drop of Top-1 and
Top-5 classification accuracy, respectively.
- Abstract（参考訳）: dropoutは、大きなディープニューラルネットワークからサブネットワークをサンプリングし、データの異なるサブセットで異なるサブネットワークをトレーニングすることで、よく知られた正規化手法である。
ドロップアウトの概念に触発されて,edropoutはニューラルネットワークを分類タスクで刈り取るためのエネルギーベースのフレームワークとして提案する。
このアプローチでは、バイナリプルーニング状態ベクトル(人口)のセットは、任意の提供された元のニューラルネットワークから対応するサブネットワークのセットを表す。
エネルギー損失関数は、各プルーニング状態にスカラーエネルギー損失値を割り当てる。
エネルギーベースのモデルは人口を確率的に進化させ、エネルギー損失が低い状態を見つける。
最適な刈り取り状態が選択され、元のネットワークに適用される。
ドロップアウトと同様に、保持された重量は確率モデルでバックプロパゲーションによって更新される。
エネルギーベースのモデルは再びより良い刈り取り状態とサイクル連続を探索する。
実際、この手順は、プルーニング状態を管理するエネルギーモデルと、各イテレーションで一時的にアンプルーニングされた重みを更新できる確率モデルとを切り替えている。
個体群はプランニング状態に動的に収束することができる。
これは、ネットワークの切断につながるドロップアウトと解釈できる。
実装の観点からは、EDropoutはネットワークアーキテクチャを変更することなく、典型的なニューラルネットワークをプルークすることができる。
本研究では, クズシジ, ファシオン, CIFAR-10, CIFAR-100, フラワーズデータセット上でのResNets, AlexNet, SqueezeNetの異なるフレーバーについて評価を行い, プルーニング率と分類性能を比較した。
edropoutでトレーニングされたネットワークは平均して、約$<5\%$と$<1\%$$のtop-1とtop-5の分類精度で、トレーニング可能なパラメータの50\%$以上のpruning率を達成した。
関連論文リスト
- Learning effective pruning at initialization from iterative pruning [15.842658282636876]
本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。
提案手法は, 既存手法よりも高スパース性設定で優れる。
ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-27T03:17:52Z) - Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:37:17Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳（メタデータ） (2023-01-01T03:10:45Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - FocusedDropout for Convolutional Neural Network [6.066543113636522]
FocusedDropoutは、ネットワークをよりターゲットに集中させる非ランダムなドロップアウト手法である。
わずかなコストでも、FocusedDropoutを採用したバッチの10%は、ベースライン上で素晴らしいパフォーマンス向上をもたらすことができます。
論文 参考訳（メタデータ） (2021-03-29T08:47:55Z) - A Framework For Pruning Deep Neural Networks Using Energy-Based Models [45.4796383952516]
典型的なディープニューラルネットワーク(DNN)は、多数のトレーニング可能なパラメータを持つ。
そこで本研究では,人口統計量に基づく大域的最適化手法に基づくDNNの刈り取りフレームワークを提案する。
ResNets、AlexNet、SqueezeNetの実験では、トレーニング可能なパラメータの50ドル以上のプルーニングレートを示している。
論文 参考訳（メタデータ） (2021-02-25T21:44:19Z) - MaxDropout: Deep Neural Network Regularization Based on Maximum Output
Values [0.0]
MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。
我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
論文 参考訳（メタデータ） (2020-07-27T17:55:54Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。