論文の概要: A Framework For Pruning Deep Neural Networks Using Energy-Based Models

• arxiv url: http://arxiv.org/abs/2102.13188v1
• Date: Thu, 25 Feb 2021 21:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-09 22:31:54.555199
• Title: A Framework For Pruning Deep Neural Networks Using Energy-Based Models
• Title（参考訳）: エネルギーモデルを用いたディープニューラルネットワークの計算フレームワーク
• Authors: Hojjat Salehinejad, Shahrokh Valaee
• Abstract要約: 典型的なディープニューラルネットワーク(DNN)は、多数のトレーニング可能なパラメータを持つ。 そこで本研究では,人口統計量に基づく大域的最適化手法に基づくDNNの刈り取りフレームワークを提案する。 ResNets、AlexNet、SqueezeNetの実験では、トレーニング可能なパラメータの50ドル以上のプルーニングレートを示している。
• 参考スコア（独自算出の注目度）: 45.4796383952516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A typical deep neural network (DNN) has a large number of trainable parameters. Choosing a network with proper capacity is challenging and generally a larger network with excessive capacity is trained. Pruning is an established approach to reducing the number of parameters in a DNN. In this paper, we propose a framework for pruning DNNs based on a population-based global optimization method. This framework can use any pruning objective function. As a case study, we propose a simple but efficient objective function based on the concept of energy-based models. Our experiments on ResNets, AlexNet, and SqueezeNet for the CIFAR-10 and CIFAR-100 datasets show a pruning rate of more than $50\%$ of the trainable parameters with approximately $<5\%$ and $<1\%$ drop of Top-1 and Top-5 classification accuracy, respectively.
• Abstract（参考訳）: 典型的なディープニューラルネットワーク(DNN)は、多数のトレーニング可能なパラメータを持つ。 適切なキャパシティを持つネットワークを選択することは困難であり、通常、過剰なキャパシティを持つ大規模なネットワークをトレーニングする。 プルーニングは、DNNにおけるパラメータ数を減らすための確立されたアプローチである。 本稿では,人口分布に基づくグローバル最適化手法に基づくDNNの刈り取りフレームワークを提案する。 このフレームワークは任意のpruning objective関数を使うことができる。 本研究では,エネルギーベースモデルの概念に基づく,単純かつ効率的な客観的関数を提案する。 CIFAR-10およびCIFAR-100データセットに対するResNets、AlexNet、SqueezeNetに関する実験では、トレーニング可能なパラメータの約$<5\%$とTop-1の$<1\%$ドロップとTop-5の分類精度のそれぞれ50\%以上のプルーニング率を示した。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
  スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
  論文  参考訳（メタデータ） (2023-05-18T13:30:29Z)
• Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
  本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。 本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
  論文  参考訳（メタデータ） (2023-01-26T12:32:01Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Parameter Prediction for Unseen Deep Architectures [23.79630072083828]
  我々は、他のネットワークを訓練する過去の知識を利用して、ディープラーニングを使ってパラメータを直接予測できるかどうか検討する。 本稿では,CPU上でも1秒の間隔で1回のフォワードパスで性能パラメータを予測できるハイパーネットワークを提案する。 提案したモデルは、目に見えない多様なネットワーク上で驚くほど優れた性能を達成する。
  論文  参考訳（メタデータ） (2021-10-25T16:52:33Z)
• Pruning of Convolutional Neural Networks Using Ising Energy Model [45.4796383952516]
  コンボリューションカーネルと隠れユニットのプルーニングのための最適化フレームワーク内でIsingエネルギモデルを提案する。 CIFAR-10およびCIFAR-100データセット上でのResNets,AlexNet,SqueezeNetを用いた実験により,提案手法がトレーニング可能なパラメータの50%以上を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-02-10T14:00:39Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。