論文の概要: Training-Free Restoration of Pruned Neural Networks
- arxiv url: http://arxiv.org/abs/2502.08474v1
- Date: Thu, 06 Feb 2025 05:30:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-13 13:50:56.710252
- Title: Training-Free Restoration of Pruned Neural Networks
- Title（参考訳）: ニューラルネットワークの学習自由復元
- Authors: Keonho Lee, Minsoo Kim, Dong-Wan Choi,
- Abstract要約: 本研究では,より厳密で頑健なネットワーク復元手法を提案する。
提案手法は,元のネットワークと近似との再構成誤差の定式化に関する理論的解析に基づく。
- 参考スコア（独自算出の注目度）: 7.317046947172644
- License:
- Abstract: Although network pruning has been highly popularized to compress deep neural networks, its resulting accuracy heavily depends on a fine-tuning process that is often computationally expensive and requires the original data. However, this may not be the case in real-world scenarios, and hence a few recent works attempt to restore pruned networks without any expensive retraining process. Their strong assumption is that every neuron being pruned can be replaced with another one quite similar to it, but unfortunately this does not hold in many neural networks, where the similarity between neurons is extremely low in some layers. In this article, we propose a more rigorous and robust method of restoring pruned networks in a fine-tuning free and data-free manner, called LBYL (Leave Before You Leave). LBYL significantly relaxes the aforementioned assumption in a way that each pruned neuron leaves its pieces of information to as many preserved neurons as possible and thereby multiple neurons together obtain a more robust approximation to the original output of the neuron who just left. Our method is based on a theoretical analysis on how to formulate the reconstruction error between the original network and its approximation, which nicely leads to a closed form solution for our derived loss function. Through the extensive experiments, LBYL is confirmed to be indeed more effective to approximate the original network and consequently able to achieve higher accuracy for restored networks, compared to the recent approaches exploiting the similarity between two neurons. The very first version of this work, which contains major technical and theoretical components, was submitted to NeurIPS 2021 and ICML 2022.
- Abstract（参考訳）: ネットワークプルーニングはディープニューラルネットワークを圧縮するために広く普及しているが、その結果の精度は計算コストが高く、元のデータを必要とする微調整プロセスに大きく依存している。
しかし、現実のシナリオではそうではないかもしれないため、最近のいくつかの研究は、高価な再トレーニングプロセスなしに、刈り取られたネットワークを復元しようと試みている。
彼らの強い仮定は、刈り取られるニューロンは全て、それと非常によく似たニューロンに置き換えることができるというものであるが、残念ながら、いくつかの層ではニューロン間の類似性が極端に低い多くのニューラルネットワークでは、これは成り立たない。
本稿では,LBYL(Leave Before You Leave)と呼ばれる,より厳密で堅牢なプランニングネットワークの復元手法を提案する。
LBYLは、上記の仮定を、各刈り取られたニューロンが情報を可能な限り多くの保存ニューロンに残し、複数のニューロンが同時に、出発したばかりのニューロンの元の出力に対するより堅牢な近似を得るように、大幅に緩和する。
提案手法は,元のネットワークと近似との再構成誤差の定式化に関する理論的解析に基づいており,導出損失関数の閉形式解を良好に導出する。
大規模な実験により、LBYLは2つのニューロン間の類似性を利用した最近のアプローチと比較して、元のネットワークを近似し、結果として復元されたネットワークの精度を高めるのに本当に効果的であることが確認された。
この研究の最初のバージョンは、主要な技術的および理論的要素を含むもので、NeurIPS 2021とICML 2022に提出された。
関連論文リスト
- Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Receding Neuron Importances for Structured Pruning [11.375436522599133]
構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。
境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。
我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
論文 参考訳（メタデータ） (2022-04-13T14:08:27Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。
提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。
標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-16T11:57:38Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。
正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文 参考訳（メタデータ） (2021-08-14T21:54:47Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳（メタデータ） (2020-10-29T15:05:43Z) - Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文 参考訳（メタデータ） (2020-10-20T18:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。