論文の概要: A Framework for Neural Network Pruning Using Gibbs Distributions

• arxiv url: http://arxiv.org/abs/2006.04981v2
• Date: Tue, 28 Dec 2021 22:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 01:07:46.840723
• Title: A Framework for Neural Network Pruning Using Gibbs Distributions
• Title（参考訳）: gibbs分布を用いたニューラルネットワークプルーニングの枠組み
• Authors: Alex Labach and Shahrokh Valaee
• Abstract要約: Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。 我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
• 参考スコア（独自算出の注目度）: 34.0576955010317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural networks are often too large to use in many practical scenarios. Neural network pruning is an important technique for reducing the size of such models and accelerating inference. Gibbs pruning is a novel framework for expressing and designing neural network pruning methods. Combining approaches from statistical physics and stochastic regularization methods, it can train and prune a network simultaneously in such a way that the learned weights and pruning mask are well-adapted for each other. It can be used for structured or unstructured pruning and we propose a number of specific methods for each. We compare our proposed methods to a number of contemporary neural network pruning methods and find that Gibbs pruning outperforms them. In particular, we achieve a new state-of-the-art result for pruning ResNet-56 with the CIFAR-10 dataset.
• Abstract（参考訳）: 現代のディープニューラルネットワークは多くの場合、多くの実用的なシナリオで使用するには大きすぎる。 ニューラルネットワークのプルーニングは、そのようなモデルのサイズを減らし、推論を加速する重要な手法である。 Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 統計物理学と確率正規化法のアプローチを組み合わせることで、学習した重みとプルーニングマスクが互いに順応するように、ネットワークを同時に訓練し、訓練することができる。 構造的あるいは非構造的プルーニングに利用することができ、それぞれにいくつかの特定のメソッドを提案する。 提案手法を現代のニューラルネットワークプルーニング法と比較し,gibbsプルーニングがそれを上回ることを確認した。 特に、CIFAR-10データセットを用いてResNet-56を刈り取るための最先端の新たな結果を得る。

関連論文リスト

• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Deep Neural Networks pruning via the Structured Perspective Regularization [5.061851539114448]
  機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。 問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T14:58:51Z)
• Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
  本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。 提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。 標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-16T11:57:38Z)
• Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations [5.17729871332369]
  最先端の量子化技術は現在、ディープニューラルネットワークの重みと活性化の両方に応用されている。 本研究では、トレーニング中の深部ニューラルネットワークの重みと活性化の両方に、新しい均一量子化法と非構造化プルーニング法を併用する。
  論文  参考訳（メタデータ） (2021-10-15T16:14:36Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。