論文の概要: How Sparse Can We Prune A Deep Network: A Geometric Viewpoint
- arxiv url: http://arxiv.org/abs/2306.05857v1
- Date: Fri, 9 Jun 2023 12:39:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 13:29:32.944555
- Title: How Sparse Can We Prune A Deep Network: A Geometric Viewpoint
- Title(参考訳): 深層ネットワークをいかに疎結合にするか - 幾何学的視点から-
- Authors: Qiaozhe Zhang, Ruijie Zhang, Jun Sun, Yingzhuang Liu
- Abstract要約: 本稿では,一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一発一
我々は,ガウス幅の計算における課題に対処するために,効率的な対策を提供する。
提案するプルーニングアルゴリズムは,既存のプルーニングアルゴリズムよりも競争力や性能が向上する。
- 参考スコア(独自算出の注目度): 5.172763028530302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overparameterization constitutes one of the most significant hallmarks of
deep neural networks. Though it can offer the advantage of outstanding
generalization performance, it meanwhile imposes substantial storage burden,
thus necessitating the study of network pruning. A natural and fundamental
question is: How sparse can we prune a deep network (with almost no hurt on the
performance)? To address this problem, in this work we take a first principles
approach, specifically, by merely enforcing the sparsity constraint on the
original loss function, we're able to characterize the sharp phase transition
point of pruning ratio, which corresponds to the boundary between the feasible
and the infeasible, from the perspective of high-dimensional geometry. It turns
out that the phase transition point of pruning ratio equals the squared
Gaussian width of some convex body resulting from the $l_1$-regularized loss
function, normalized by the original dimension of parameters. As a byproduct,
we provide a novel network pruning algorithm which is essentially a global
one-shot pruning one. Furthermore, we provide efficient countermeasures to
address the challenges in computing the involved Gaussian width, including the
spectrum estimation of a large-scale Hessian matrix and dealing with the
non-definite positiveness of a Hessian matrix. It is demonstrated that the
predicted pruning ratio threshold coincides very well with the actual value
obtained from the experiments and our proposed pruning algorithm can achieve
competitive or even better performance than the existing pruning algorithms.
All codes are available at:
https://github.com/QiaozheZhang/Global-One-shot-Pruning
- Abstract(参考訳): 過剰パラメータ化はディープニューラルネットワークの最も重要な特徴の1つである。
優れた一般化性能の利点を享受できるが、同時にかなりの記憶負荷を課し、ネットワークプルーニングの研究を必要とする。
根本的かつ自然な疑問は: ディープネットワーク(パフォーマンスにほとんど害を加えることなく)をいかにスパースにできるのか?
この問題に対処するために、本研究では、第一原理のアプローチ、具体的には、元の損失関数にスパーシティ制約を強制することによって、高次元幾何学の観点から、実現不可能と実行不可能の境界に対応するプラニング比の鋭い位相遷移点を特徴付けることができる。
プルーニング比の位相遷移点は、パラメータの原次元によって正規化される$l_1$-正則化損失関数から生じる凸体の正方形ガウス幅と等しいことが判明した。
副産物として、我々は本質的にグローバルなワンショットプルーニングアルゴリズムである新しいネットワークプルーニングアルゴリズムを提供する。
さらに,大規模ヘッセン行列のスペクトル推定やヘッセン行列の非定値正の処理など,関連するガウス幅の計算における課題に対処するための効率的な対策も提供する。
予測プルーニング比の閾値は実験から得られた実際の値と非常によく一致し,提案プルーニングアルゴリズムは既存のプルーニングアルゴリズムよりも競争力や性能を向上できることを示した。
https://github.com/QiaozheZhang/Global-One-shot-Pruning
関連論文リスト
- On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳(メタデータ) (2022-02-05T21:19:41Z) - Connectivity Matters: Neural Network Pruning Through the Lens of
Effective Sparsity [0.0]
ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。
ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。
我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
論文 参考訳(メタデータ) (2021-07-05T22:36:57Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳(メタデータ) (2020-12-16T20:16:28Z) - Greedy Optimization Provably Wins the Lottery: Logarithmic Number of
Winning Tickets is Enough [19.19644194006565]
精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。
提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。
本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
論文 参考訳(メタデータ) (2020-10-29T22:06:31Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - On the Predictability of Pruning Across Scales [29.94870276983399]
等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。
ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
論文 参考訳(メタデータ) (2020-06-18T15:41:46Z) - Shapley Value as Principled Metric for Structured Network Pruning [10.96182578337852]
構造化プルーニング(Structured pruning)は、ニューラルネットワークのストレージサイズと推論コストを低減する技術である。
ネットワークの性能を維持するためには,刈り込みによる害を軽減することが重要である。
本稿では,この課題の基準値としてShapley値を提案する。
論文 参考訳(メタデータ) (2020-06-02T17:26:49Z) - Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。
我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。
実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
論文 参考訳(メタデータ) (2020-02-12T05:38:42Z) - A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。
我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。
提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
論文 参考訳(メタデータ) (2020-01-15T20:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。