論文の概要: Shapley Value as Principled Metric for Structured Network Pruning
- arxiv url: http://arxiv.org/abs/2006.01795v1
- Date: Tue, 2 Jun 2020 17:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 23:09:40.882471
- Title: Shapley Value as Principled Metric for Structured Network Pruning
- Title（参考訳）: 構造化ネットワークプルーニングの原理指標としてのshapley値
- Authors: Marco Ancona and Cengiz \"Oztireli and Markus Gross
- Abstract要約: 構造化プルーニング(Structured pruning)は、ニューラルネットワークのストレージサイズと推論コストを低減する技術である。
ネットワークの性能を維持するためには,刈り込みによる害を軽減することが重要である。
本稿では,この課題の基準値としてShapley値を提案する。
- 参考スコア（独自算出の注目度）: 10.96182578337852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning is a well-known technique to reduce the storage size and
inference cost of neural networks. The usual pruning pipeline consists of
ranking the network internal filters and activations with respect to their
contributions to the network performance, removing the units with the lowest
contribution, and fine-tuning the network to reduce the harm induced by
pruning. Recent results showed that random pruning performs on par with other
metrics, given enough fine-tuning resources. In this work, we show that this is
not true on a low-data regime when fine-tuning is either not possible or not
effective. In this case, reducing the harm caused by pruning becomes crucial to
retain the performance of the network. First, we analyze the problem of
estimating the contribution of hidden units with tools suggested by cooperative
game theory and propose Shapley values as a principled ranking metric for this
task. We compare with several alternatives proposed in the literature and
discuss how Shapley values are theoretically preferable. Finally, we compare
all ranking metrics on the challenging scenario of low-data pruning, where we
demonstrate how Shapley values outperform other heuristics.
- Abstract（参考訳）: 構造化プルーニングは、ニューラルネットワークのストレージサイズと推論コストを低減するためによく知られている手法である。
通常のプルーニングパイプラインは、ネットワーク内部フィルタとアクティベーションのランク付けと、ネットワーク性能への貢献点のランク付け、最小のコントリビューションでユニットを除去し、プルーニングによって引き起こされる害を軽減するためにネットワークを微調整する。
最近の結果は、十分な微調整資源が与えられた場合、ランダムプルーニングが他の指標と同等に動作することを示した。
本研究では,微調整が不可能である場合や有効でない場合,低データ環境ではこれが当てはまらないことを示す。
この場合、ネットワークの性能を維持するためには、刈り取りによる被害を減らすことが不可欠となる。
まず,協調ゲーム理論によって提案されるツールを用いて隠れた単位の寄与を推定する問題を解析し,この課題に対する原則的ランキング尺度としてシェープリー値を提案する。
文献で提案されたいくつかの代替手法と比較し、シャプリー値が理論的に好ましいかについて議論する。
最後に、すべてのランキング指標を、低データプルーニングの難しいシナリオで比較し、shapleyの値が他のヒューリスティックよりも優れていることを示す。
関連論文リスト
- Shapley Pruning for Neural Network Compression [63.60286036508473]
この研究はShapley値近似を示し、ニューラルネットワーク圧縮の費用対効果の観点から比較分析を行う。
提案した規範的ランキングとその近似は、最先端のネットワーク圧縮を得る実用的な結果を示す。
論文 参考訳（メタデータ） (2024-07-19T11:42:54Z) - How Sparse Can We Prune A Deep Network: A Fundamental Limit Viewpoint [3.7575861326462845]
ネットワークプルーニングは、ディープニューラルネットワークの記憶と計算の負担を軽減する効果的な手段である。
我々は、第一原理的アプローチ、すなわち、元の損失関数に空間的制約を課す。
刈り取り比の限界を決定する2つの要因を同定する。
論文 参考訳（メタデータ） (2023-06-09T12:39:41Z) - Network Pruning Spaces [12.692532576302426]
ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。
この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
論文 参考訳（メタデータ） (2023-04-19T06:52:05Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳（メタデータ） (2022-02-05T21:19:41Z) - Connectivity Matters: Neural Network Pruning Through the Lens of
Effective Sparsity [0.0]
ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。
ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。
我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
論文 参考訳（メタデータ） (2021-07-05T22:36:57Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - Progressive Skeletonization: Trimming more fat from a network at
initialization [76.11947969140608]
本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。
次に、目的を最大化する2つの近似手順を提案する。
提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-06-16T11:32:47Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。