論文の概要: Slimming Neural Networks using Adaptive Connectivity Scores

• arxiv url: http://arxiv.org/abs/2006.12463v3
• Date: Fri, 17 Dec 2021 21:44:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 06:08:22.361228
• Title: Slimming Neural Networks using Adaptive Connectivity Scores
• Title（参考訳）: アダプティブコネクティビティスコアを用いたスリム化ニューラルネットワーク
• Authors: Madan Ravi Ganesh, Dawsin Blanchard, Jason J. Corso and Salimeh Yasaei Sekeh
• Abstract要約: 適応接続スコア(SNACS)を用いたスライミングニューラルネットワーク(Slimming Neural Network)と呼ばれる単発完全自動プルーニングアルゴリズムを提案する。 提案手法は,確率的プルーニングの枠組みを基礎となる重み行列の制約と組み合わせたものである。 SNACSは17倍以上高速である。
• 参考スコア（独自算出の注目度）: 28.872080203221934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In general, deep neural network (DNN) pruning methods fall into two categories: 1) Weight-based deterministic constraints, and 2) Probabilistic frameworks. While each approach has its merits and limitations there are a set of common practical issues such as, trial-and-error to analyze sensitivity and hyper-parameters to prune DNNs, which plague them both. In this work, we propose a new single-shot, fully automated pruning algorithm called Slimming Neural networks using Adaptive Connectivity Scores (SNACS). Our proposed approach combines a probabilistic pruning framework with constraints on the underlying weight matrices, via a novel connectivity measure, at multiple levels to capitalize on the strengths of both approaches while solving their deficiencies. In \alg{}, we propose a fast hash-based estimator of Adaptive Conditional Mutual Information (ACMI), that uses a weight-based scaling criterion, to evaluate the connectivity between filters and prune unimportant ones. To automatically determine the limit up to which a layer can be pruned, we propose a set of operating constraints that jointly define the upper pruning percentage limits across all the layers in a deep network. Finally, we define a novel sensitivity criterion for filters that measures the strength of their contributions to the succeeding layer and highlights critical filters that need to be completely protected from pruning. Through our experimental validation we show that SNACS is faster by over 17x the nearest comparable method and is the state of the art single-shot pruning method across three standard Dataset-DNN pruning benchmarks: CIFAR10-VGG16, CIFAR10-ResNet56 and ILSVRC2012-ResNet50.
• Abstract（参考訳）: 一般に、ディープニューラルネットワーク(DNN)プルーニング法は2つのカテゴリに分類される。 1)重みに基づく決定論的制約、及び 2)確率的フレームワーク。 それぞれのアプローチにはメリットと制限があるが、感度を解析するためのトライ・アンド・エラーや、DNNを実践するためのハイパーパラメータといった、これらを悩ませる一般的な実践的な問題がいくつかある。 本研究では,SNACS(Adaptive Connectivity Scores)を用いたスライミングニューラルネットワーク(Slimming Neural Network)と呼ばれる,単発完全自動プルーニングアルゴリズムを提案する。 提案手法は, 確率的プルーニングフレームワークと, 基礎となる重み行列の制約を, 新たな接続性尺度で組み合わせることで, 両手法の強みを活かし, 両者の欠点を解消する。 In \alg{}, we propose a fast hash-based estimator of Adaptive Conditional Mutual Information (ACMI) which using a weight-based scaling criterion, to evaluate the connection between filters and prune unimportant。 層を刈り取ることができる限界を自動決定するために, 深層ネットワーク内のすべての層にまたがる上限の上限を, 共同で定義する一連の動作制約を提案する。 最後に,後続層への寄与の強さを測定するフィルタに対する新しい感度基準を定義し,刈り取りから完全に保護される必要のある重要なフィルタを強調する。 実験により、SNACSは最も近い17倍高速で、CIFAR10-VGG16、CIFAR10-ResNet56、ILSVRC2012-ResNet50の3つの標準データセット-DNNプルーニングベンチマークにおけるアート単発プルーニング手法の状態を示す。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Robust-by-Design Classification via Unitary-Gradient Neural Networks [66.17379946402859]
  安全クリティカルシステムにおけるニューラルネットワークの使用には、敵攻撃が存在するため、安全で堅牢なモデルが必要である。 任意の入力 x の最小逆摂動を知るか、または同値に、分類境界から x の距離は、分類ロバスト性を評価し、証明可能な予測を与える。 Unitary-Gradient Neural Networkと呼ばれる新しいネットワークアーキテクチャが紹介される。 実験結果から,提案アーキテクチャは符号付き距離を近似し,単一の推論コストでxのオンライン分類が可能であることがわかった。
  論文  参考訳（メタデータ） (2022-09-09T13:34:51Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Only Train Once: A One-Shot Neural Network Training And Pruning Framework [31.959625731943675]
  構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。 我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。 OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。 OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
  論文  参考訳（メタデータ） (2021-07-15T17:15:20Z)
• MINT: Deep Network Compression via Mutual Information-based Neuron Trimming [32.449324736645586]
  Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。 MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。 ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
  論文  参考訳（メタデータ） (2020-03-18T21:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。