論文の概要: Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls
for Network Pruning
- arxiv url: http://arxiv.org/abs/2103.10629v1
- Date: Fri, 19 Mar 2021 04:41:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 14:29:31.422201
- Title: Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls
for Network Pruning
- Title（参考訳）: ディープニューラルネットワークにおけるカスケード重み付け -ネットワークプルーニングの利点と落とし穴-
- Authors: Kambiz Azarian and Fatih Porikli
- Abstract要約: カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。
我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。
重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
- 参考スコア（独自算出の注目度）: 73.79377854107514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We report, for the first time, on the cascade weight shedding phenomenon in
deep neural networks where in response to pruning a small percentage of a
network's weights, a large percentage of the remaining is shed over a few
epochs during the ensuing fine-tuning phase. We show that cascade weight
shedding, when present, can significantly improve the performance of an
otherwise sub-optimal scheme such as random pruning. This explains why some
pruning methods may perform well under certain circumstances, but poorly under
others, e.g., ResNet50 vs. MobileNetV3. We provide insight into why the global
magnitude-based pruning, i.e., GMP, despite its simplicity, provides a
competitive performance for a wide range of scenarios. We also demonstrate
cascade weight shedding's potential for improving GMP's accuracy, and reduce
its computational complexity. In doing so, we highlight the importance of
pruning and learning-rate schedules. We shed light on weight and learning-rate
rewinding methods of re-training, showing their possible connections to the
cascade weight shedding and reason for their advantage over fine-tuning. We
also investigate cascade weight shedding's effect on the set of kept weights,
and its implications for semi-structured pruning. Finally, we give directions
for future research.
- Abstract（参考訳）: 本研究では,ニューラルネットワークにおけるカスケード重み付け現象を初めて報告し,ネットワークの重みのごく一部を刈り取ることに応答して,その後に発生する微調整相の間,残りの割合を数エポックにわたって削り取る。
カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。
これはプルーニングメソッドが特定の状況下でうまく機能する理由を説明しているが、ResNet50対MobileNetV3のような他の状況では不十分である。
我々は、グローバルスケールベースのプルーニング(GMP)が、その単純さにもかかわらず、広範囲のシナリオに対して競争力のあるパフォーマンスを提供する理由を洞察する。
また,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。
そこで我々は,pruning と learning-rate schedule の重要性を強調する。
重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
また,カスケード重み付けが保持重量のセットに及ぼす影響と半構造化プルーニングに与える影響についても検討した。
最後に、今後の研究の方向性を示す。
関連論文リスト
- To prune or not to prune : A chaos-causality approach to principled
pruning of dense neural networks [1.9249287163937978]
本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。
このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
論文 参考訳（メタデータ） (2023-08-19T09:17:33Z) - How Sparse Can We Prune A Deep Network: A Fundamental Limit Viewpoint [3.7575861326462845]
ネットワークプルーニングは、ディープニューラルネットワークの記憶と計算の負担を軽減する効果的な手段である。
我々は、第一原理的アプローチ、すなわち、元の損失関数に空間的制約を課す。
刈り取り比の限界を決定する2つの要因を同定する。
論文 参考訳（メタデータ） (2023-06-09T12:39:41Z) - WeightMom: Learning Sparse Networks using Iterative Momentum-based
pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。
我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文 参考訳（メタデータ） (2022-08-11T07:13:59Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳（メタデータ） (2022-02-05T21:19:41Z) - Why is Pruning at Initialization Immune to Reinitializing and Shuffling? [10.196185472801236]
近年のプルーニングニューラルネットワーク法の有効性を評価する研究で、驚くべき発見が判明した。
各プルーニング・アット・初期化法では, ランダム化操作により, 未切断重量の分布は最小限に変化した。
論文 参考訳（メタデータ） (2021-07-05T06:04:56Z) - Pruning Randomly Initialized Neural Networks with Iterative
Randomization [7.676965708017808]
我々は、反復的に重み値(IteRand)をランダムに生成する新しい枠組みを導入する。
理論的には、我々のフレームワークで近似定理を証明し、ランダム化演算がパラメータの必要な数を減らすのに有効であることを示す。
論文 参考訳（メタデータ） (2021-06-17T06:32:57Z) - Dynamic Probabilistic Pruning: A general framework for
hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。
このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。
DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文 参考訳（メタデータ） (2021-05-26T17:01:52Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。