論文の概要: Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of
Neurons
- arxiv url: http://arxiv.org/abs/2403.07688v1
- Date: Tue, 12 Mar 2024 14:28:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 21:12:48.057222
- Title: Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of
Neurons
- Title（参考訳）: maxwell's demon at work: 神経細胞の飽和を利用した効率的な刈り取り
- Authors: Simon Dufort-Labb\'e, Pierluca D'Oro, Evgenii Nikishin, Razvan
Pascanu, Pierre-Luc Bacon, Aristide Baratin
- Abstract要約: 死ニューロンの増殖を動的に制御するDemPを導入する。
CIFAR10とImageNetデータセットの実験では、精度とスパーシリティのトレードオフが優れている。
- 参考スコア（独自算出の注目度）: 27.289945121113277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When training deep neural networks, the phenomenon of $\textit{dying
neurons}$ $\unicode{x2013}$units that become inactive or saturated, output zero
during training$\unicode{x2013}$ has traditionally been viewed as undesirable,
linked with optimization challenges, and contributing to plasticity loss in
continual learning scenarios. In this paper, we reassess this phenomenon,
focusing on sparsity and pruning. By systematically exploring the impact of
various hyperparameter configurations on dying neurons, we unveil their
potential to facilitate simple yet effective structured pruning algorithms. We
introduce $\textit{Demon Pruning}$ (DemP), a method that controls the
proliferation of dead neurons, dynamically leading to network sparsity.
Achieved through a combination of noise injection on active units and a
one-cycled schedule regularization strategy, DemP stands out for its simplicity
and broad applicability. Experiments on CIFAR10 and ImageNet datasets
demonstrate that DemP surpasses existing structured pruning techniques,
showcasing superior accuracy-sparsity tradeoffs and training speedups. These
findings suggest a novel perspective on dying neurons as a valuable resource
for efficient model compression and optimization.
- Abstract（参考訳）: ディープニューラルネットワークをトレーニングする場合、$\textit{dying neurons}$\unicode{x2013}$unitsは、不活性または飽和状態になり、トレーニング中に出力ゼロになる$\unicode{x2013}$unitsの現象は、伝統的に望ましくないものと見られ、最適化課題と関連付けられ、継続的な学習シナリオにおける可塑性損失に寄与している。
本稿では, この現象を再評価し, ポーシャリティとプルーニングに着目した。
死にゆくニューロンに対する様々なハイパーパラメータ構成の影響を体系的に探究することにより、単純で効果的な構造的刈り取りアルゴリズムを容易にする可能性を明らかにする。
死んだ神経細胞の増殖を動的に制御する手法である$\textit{Demon Pruning}$ (DemP)を導入する。
アクティブユニットへのノイズ注入と1サイクルのスケジュール正規化戦略の組み合わせによって達成されたDemPは、そのシンプルさと幅広い適用性で際立っている。
CIFAR10とImageNetデータセットの実験では、DemPは既存の構造化プルーニング技術を超え、精度とスパーシティのトレードオフとトレーニングの高速化を示している。
これらの結果は、死のニューロンが効率的なモデル圧縮と最適化のための貴重な資源であることを示す。
関連論文リスト
- Augmented Neural Fine-Tuning for Efficient Backdoor Purification [16.74156528484354]
最近の研究では、様々なバックドア攻撃に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。
神経活動の最適再編成を目的としたニューラルマスクファインチューニング(NFT)を提案する。
NFTはトリガー合成プロセスを緩和し、逆探索モジュールの要求をなくす。
論文 参考訳（メタデータ） (2024-07-14T02:36:54Z) - Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference [2.0822643340897273]
本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。
私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
論文 参考訳（メタデータ） (2023-11-13T08:18:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Energy Efficient Training of SNN using Local Zeroth Order Method [18.81001891391638]
ニューラルネットワークのスパイクは、現実世界のタスクにおける低エネルギー要求でますます人気が高まっている。
SNNトレーニングアルゴリズムは、Heaviside関数による勾配情報と非微分可能性の喪失に直面している。
本稿では,後方パスにおけるHeavisideの微分可能近似を提案し,前方パスはHeavisideをスパイク関数として利用する。
論文 参考訳（メタデータ） (2023-02-02T06:57:37Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations [11.707981310045742]
Deep Neural Networks (DNN) のエンドツーエンドトレーニングは、ますます増加するアプリケーションにおいて、技術パフォーマンスの状態を生んでいる。
ここでは、スペーサーとより強力な活性化を伴う摂動に対する有望な神経誘発アプローチについて報告する。
論文 参考訳（メタデータ） (2022-02-26T06:19:05Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。
ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。
おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文 参考訳（メタデータ） (2021-06-19T02:09:25Z) - Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。
DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。
凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文 参考訳（メタデータ） (2020-11-17T10:23:28Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。