論文の概要: The Role of Regularization in Shaping Weight and Node Pruning Dependency
and Dynamics
- arxiv url: http://arxiv.org/abs/2012.03827v1
- Date: Mon, 7 Dec 2020 16:22:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:35:53.002550
- Title: The Role of Regularization in Shaping Weight and Node Pruning Dependency
and Dynamics
- Title（参考訳）: 重み付けとノードプルーニング依存性とダイナミクスにおける正則化の役割
- Authors: Yael Ben-Guigui, Jacob Goldberger, Tammy Riklin-Raviv
- Abstract要約: より小さな重みのゼロ化を好む確率関数からのサンプリングにより、ウェイトプルーニングのための新しい枠組みを提案する。
一般的な分類モデルにおいて,重崩壊正規化器と併用した場合に提案手法の有効性を示す。
これらのノードを切断したネットワークに対しては、元の高密度ネットワークよりもわずかに精度の低い競合重み付け結果も提示する。
- 参考スコア（独自算出の注目度）: 16.68750639790925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pressing need to reduce the capacity of deep neural networks has
stimulated the development of network dilution methods and their analysis.
While the ability of $L_1$ and $L_0$ regularization to encourage sparsity is
often mentioned, $L_2$ regularization is seldom discussed in this context. We
present a novel framework for weight pruning by sampling from a probability
function that favors the zeroing of smaller weights. In addition, we examine
the contribution of $L_1$ and $L_2$ regularization to the dynamics of node
pruning while optimizing for weight pruning. We then demonstrate the
effectiveness of the proposed stochastic framework when used together with a
weight decay regularizer on popular classification models in removing 50% of
the nodes in an MLP for MNIST classification, 60% of the filters in VGG-16 for
CIFAR10 classification, and on medical image models in removing 60% of the
channels in a U-Net for instance segmentation and 50% of the channels in CNN
model for COVID-19 detection. For these node-pruned networks, we also present
competitive weight pruning results that are only slightly less accurate than
the original, dense networks.
- Abstract（参考訳）: 深層ニューラルネットワークの容量を減らすための圧力がネットワーク希釈法の発展を刺激し、その解析を行った。
スパーシリティを促進するための$L_1$と$L_0$正規化の能力はしばしば言及されるが、$L_2$正規化はこの文脈ではほとんど議論されない。
より小さな重みのゼロ化を好む確率関数からのサンプリングにより、ウェイトプルーニングのための新しい枠組みを提案する。
さらに,l_1$ と $l_2$ のレギュライゼーションが,重み付きプルーニングを最適化しながらノードプルーニングのダイナミクスに寄与することを検討する。
次に,MNIST分類用MLPのノードの50%,CIFAR10分類用VGG-16のフィルタの60%,U-Netのチャネルの60%,CNNモデルのチャネルの50%を新型コロナウイルス検出用として除去する医療画像モデルにおいて,重崩壊正規化器と併用した場合の確率的枠組みの有効性を示した。
これらのノードを切断したネットワークに対しては、元の高密度ネットワークよりもわずかに精度の低い競合重み付け結果も提示する。
関連論文リスト
- Decoupled Weight Decay for Any $p$ Norm [1.1510009152620668]
トレーニング中の正規化に$L_p$のブリッジをベースとした,スパーシフィケーションに対する単純かつ効果的なアプローチを検討する。
我々は、標準の$L$重み崩壊を任意の$p$ノルムに一般化する新しい重み崩壊スキームを導入する。
標準的な$L$正規化に匹敵する性能を維持しながら、非常に疎結合なネットワークにつながることを実証的に実証した。
論文 参考訳（メタデータ） (2024-04-16T18:02:15Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Neural Network Pruning by Cooperative Coevolution [16.0753044050118]
協調的共進化による新しいフィルタプルーニングアルゴリズムCCEPを提案する。
CCEPは分割・対数戦略により刈り取り空間を縮小する。
実験により,CCEPは最先端の刈り取り法と競合する性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-04-12T09:06:38Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency
Modeling [6.081082481356211]
L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。
本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。
本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
論文 参考訳（メタデータ） (2021-06-30T19:33:35Z) - Pruning of Convolutional Neural Networks Using Ising Energy Model [45.4796383952516]
コンボリューションカーネルと隠れユニットのプルーニングのための最適化フレームワーク内でIsingエネルギモデルを提案する。
CIFAR-10およびCIFAR-100データセット上でのResNets,AlexNet,SqueezeNetを用いた実験により,提案手法がトレーニング可能なパラメータの50%以上を得ることができることを示す。
論文 参考訳（メタデータ） (2021-02-10T14:00:39Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。
各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
論文 参考訳（メタデータ） (2020-09-17T09:23:36Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。