論文の概要: SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance
- arxiv url: http://arxiv.org/abs/2207.04089v1
- Date: Fri, 8 Jul 2022 18:27:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 14:30:19.358638
- Title: SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance
- Title(参考訳): SInGE: 神経細胞関連性の総合的勾配推定による空間性
- Authors: Edouard Yvinec, Arnaud Dapogny, Matthieu Cord, Kevin Bailly
- Abstract要約: 本稿では,このニューロン除去への経路の勾配変化の積分として,各ニューロンの関連性を定義した新しい勾配解析基準を提案する。
提案手法は,いくつかのデータセットやアーキテクチャ,さらにはSInGEと呼ばれるプルーニングシナリオにおいて,既存の最先端のプルーニング手法よりも大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 37.82255888371488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The leap in performance in state-of-the-art computer vision methods is
attributed to the development of deep neural networks. However it often comes
at a computational price which may hinder their deployment. To alleviate this
limitation, structured pruning is a well known technique which consists in
removing channels, neurons or filters, and is commonly applied in order to
produce more compact models. In most cases, the computations to remove are
selected based on a relative importance criterion. At the same time, the need
for explainable predictive models has risen tremendously and motivated the
development of robust attribution methods that highlight the relative
importance of pixels of an input image or feature map. In this work, we discuss
the limitations of existing pruning heuristics, among which magnitude and
gradient-based methods. We draw inspiration from attribution methods to design
a novel integrated gradient pruning criterion, in which the relevance of each
neuron is defined as the integral of the gradient variation on a path towards
this neuron removal. Furthermore, we propose an entwined DNN pruning and
fine-tuning flowchart to better preserve DNN accuracy while removing
parameters. We show through extensive validation on several datasets,
architectures as well as pruning scenarios that the proposed method, dubbed
SInGE, significantly outperforms existing state-of-the-art DNN pruning methods.
- Abstract(参考訳): 最先端のコンピュータビジョン手法のパフォーマンスの飛躍は、ディープニューラルネットワークの開発によるものである。
しかし、しばしば計算コストがかかるため、デプロイメントが妨げられる可能性がある。
この制限を緩和するため、構造化プルーニングはチャネル、ニューロン、フィルターを除去する技術としてよく知られており、よりコンパクトなモデルを作成するために一般的に用いられる。
ほとんどの場合、削除すべき計算は相対的重要度基準に基づいて選択される。
同時に、説明可能な予測モデルの必要性が著しく高まり、入力画像や特徴マップのピクセルの相対的重要性を強調するロバストな帰属法の開発が動機となっている。
本研究では,既存のプルーニングヒューリスティックの限界について論じる。
我々は,各ニューロンの関連性を,このニューロン除去に向けての経路の勾配変化の積分として定義する,新しい勾配決定基準を設計するための帰納的手法からインスピレーションを得た。
さらに,パラメータを除去しながらDNNの精度を向上するために,絡み合ったDNNプルーニングと微調整フローチャートを提案する。
提案手法はSInGEと呼ばれ、既存の最先端DNNプルーニング手法よりも優れていることを示す。
関連論文リスト
- Spatiotemporal Learning on Cell-embedded Graphs [6.8090864965073274]
学習可能なセル属性をノードエッジメッセージパッシングプロセスに導入し,地域特性の空間依存性をよりよく把握する。
各種PDEシステムと1つの実世界のデータセットの実験は、CeGNNが他のベースラインモデルと比較して優れた性能を発揮することを示した。
論文 参考訳(メタデータ) (2024-09-26T16:22:08Z) - Geometric sparsification in recurrent neural networks [0.8851237804522972]
本稿では,リカレントニューラルネット(RNN)のスペーサー化手法を提案する。
変調正則化は、様々な変調正則化器を持つより安定したRNNを誘導し、98%の間隔で高忠実度モデルを達成することを示す。
論文 参考訳(メタデータ) (2024-06-10T14:12:33Z) - Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳(メタデータ) (2023-12-20T06:25:02Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳(メタデータ) (2021-06-06T10:06:07Z) - A Differentiable Point Process with Its Application to Spiking Neural
Networks [13.160616423673373]
Jimenez Rezende & Gerstner (2014) は、隠れたニューロンでSNNを訓練するための変分推論アルゴリズムを提案した。
本稿では,経路ワイド勾配推定器に基づくSNNの代替勾配推定器を提案する。
論文 参考訳(メタデータ) (2021-06-02T02:40:17Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。