論文の概要: Effective Sparsification of Neural Networks with Global Sparsity Constraint

• arxiv url: http://arxiv.org/abs/2105.01571v1
• Date: Mon, 3 May 2021 14:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 04:05:29.841640
• Title: Effective Sparsification of Neural Networks with Global Sparsity Constraint
• Title（参考訳）: グローバルスパーシティ制約によるニューラルネットワークの効果的なスパーシフィケーション
• Authors: Xiao Zhou, Weizhong Zhang, Hang Xu, Tong Zhang
• Abstract要約: 重み付けは、実世界の展開におけるディープニューラルネットワークのモデルサイズと推論時間を短縮するための効果的な技術です。 既存の手法では、各層に対して個別に適切な刈り取り率を見つけるために手動のチューニングまたは手作りのルールに依存している。 グローバルスパーシティー制約下で自然スパーシフィケーションの定式化を解決するプロバビリスティックマスキング(ProbMask)と呼ばれる効果的なネットワークスパーシフィケーション手法を提案する。
• 参考スコア（独自算出の注目度）: 45.640862235500165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight pruning is an effective technique to reduce the model size and inference time for deep neural networks in real-world deployments. However, since magnitudes and relative importance of weights are very different for different layers of a neural network, existing methods rely on either manual tuning or handcrafted heuristic rules to find appropriate pruning rates individually for each layer. This approach generally leads to suboptimal performance. In this paper, by directly working on the probability space, we propose an effective network sparsification method called {\it probabilistic masking} (ProbMask), which solves a natural sparsification formulation under global sparsity constraint. The key idea is to use probability as a global criterion for all layers to measure the weight importance. An appealing feature of ProbMask is that the amounts of weight redundancy can be learned automatically via our constraint and thus we avoid the problem of tuning pruning rates individually for different layers in a network. Extensive experimental results on CIFAR-10/100 and ImageNet demonstrate that our method is highly effective, and can outperform previous state-of-the-art methods by a significant margin, especially in the high pruning rate situation. Notably, the gap of Top-1 accuracy between our ProbMask and existing methods can be up to 10\%. As a by-product, we show ProbMask is also highly effective in identifying supermasks, which are subnetworks with high performance in a randomly weighted dense neural network.
• Abstract（参考訳）: 重みプルーニングは、実世界のデプロイメントにおけるディープニューラルネットワークのモデルサイズと推論時間を短縮するための効果的なテクニックである。 しかしながら、重みの大きさと相対的な重要性はニューラルネットワークの異なる層に対して大きく異なるため、既存の手法では、各層に対して個別に適切な刈り取り率を求めるために、手動のチューニングまたは手作りのヒューリスティックなルールに依存している。 このアプローチは一般的に最適でないパフォーマンスをもたらす。 本稿では,確率空間を直接研究することにより,グローバルスパルシリティ制約下で自然スパルシフィケーションの定式化を解く「it確率マスキング」(probmask)と呼ばれる効果的なネットワークスパルシフィケーション手法を提案する。 鍵となる考え方は、すべてのレイヤのグローバルな基準として確率を使い、重みの重要度を測定することである。 ProbMaskの特長は、重み付けの量を自動的に制約によって学習できることであり、ネットワーク内の異なる層に対して個別にプルーニングレートをチューニングする問題は回避できる。 CIFAR-10/100 と ImageNet の大規模な実験結果から,本手法は極めて有効であり,特に高い刈り取り率の状況において,従来の最先端手法よりも優れた性能を発揮することが示された。 特に、probmaskと既存のメソッドの間のtop-1の精度の差は最大10\%である。 副産物として,無作為重み付きニューラルネットワークにおける高性能サブネットワークであるスーパーマスクの同定にもprobmaskが有効であることを示した。

関連論文リスト

• Block Pruning for Enhanced Efficiency in Convolutional Neural Networks [7.110116320545541]
  本稿では,エッジコンピューティング環境におけるディープニューラルネットワークにおけるブロックプルーニングを対象とする,ネットワークプルーニングに対する新しいアプローチを提案する。 提案手法は,プロキシメトリクスを利用する従来の手法とは異なっており,直接ブロック除去手法を用いて分類精度への影響を評価する。
  論文  参考訳（メタデータ） (2023-12-28T08:54:48Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Ex uno plures: Splitting One Model into an Ensemble of Subnetworks [18.814965334083425]
  そこで本研究では,プレニング戦略によって計算され,独立に訓練された非重なり合っていないドロップアウトマスクに対応する,作業のアンサンブルを計算する戦略を提案する。 提案手法は,精度と不確実性の両方において,標準的なディープアンサンブルと同等に動作可能であることを示す。 我々は、ニューラルネットワークを効率的にアンサンブルする最近提案されたアプローチよりも、サブネットワークのアンサンブルが一貫して優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-09T01:49:49Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• Differentiable Sparsification for Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。 提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。 私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
  論文  参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。