論文の概要: Pruning of Convolutional Neural Networks Using Ising Energy Model

• arxiv url: http://arxiv.org/abs/2102.05437v1
• Date: Wed, 10 Feb 2021 14:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 00:49:06.827161
• Title: Pruning of Convolutional Neural Networks Using Ising Energy Model
• Title（参考訳）: Ising Energy Modelを用いた畳み込みニューラルネットワークのプルーニング
• Authors: Hojjat Salehinejad and Shahrokh Valaee
• Abstract要約: コンボリューションカーネルと隠れユニットのプルーニングのための最適化フレームワーク内でIsingエネルギモデルを提案する。 CIFAR-10およびCIFAR-100データセット上でのResNets,AlexNet,SqueezeNetを用いた実験により,提案手法がトレーニング可能なパラメータの50%以上を得ることができることを示す。
• 参考スコア（独自算出の注目度）: 45.4796383952516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning is one of the major methods to compress deep neural networks. In this paper, we propose an Ising energy model within an optimization framework for pruning convolutional kernels and hidden units. This model is designed to reduce redundancy between weight kernels and detect inactive kernels/hidden units. Our experiments using ResNets, AlexNet, and SqueezeNet on CIFAR-10 and CIFAR-100 datasets show that the proposed method on average can achieve a pruning rate of more than $50\%$ of the trainable parameters with approximately $<10\%$ and $<5\%$ drop of Top-1 and Top-5 classification accuracy, respectively.
• Abstract（参考訳）: プルーニングはディープニューラルネットワークを圧縮する主要な方法の1つである。 本稿では,畳み込み型カーネルと隠れ単位をプルーニングするための最適化フレームワークにおけるイジングエネルギーモデルを提案する。 このモデルは、ウェイトカーネル間の冗長性を低減し、非アクティブカーネル/隠れユニットを検出するように設計されている。 CIFAR-10とCIFAR-100のデータセット上でResNets,AlexNet,SqueezeNetを用いた実験により,提案手法は,Top-1の約$<10\%,Top-5の分類精度が$<5\%,トレーニング可能なパラメータの50\%以上が得られることを示した。

関連論文リスト

• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
  本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。 本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
  論文  参考訳（メタデータ） (2023-01-26T12:32:01Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
  本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。 まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。 我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
  論文  参考訳（メタデータ） (2021-07-30T20:13:49Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• A Framework For Pruning Deep Neural Networks Using Energy-Based Models [45.4796383952516]
  典型的なディープニューラルネットワーク(DNN)は、多数のトレーニング可能なパラメータを持つ。 そこで本研究では,人口統計量に基づく大域的最適化手法に基づくDNNの刈り取りフレームワークを提案する。 ResNets、AlexNet、SqueezeNetの実験では、トレーニング可能なパラメータの50ドル以上のプルーニングレートを示している。
  論文  参考訳（メタデータ） (2021-02-25T21:44:19Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。