論文の概要: On The Energy Statistics of Feature Maps in Pruning of Neural Networks
with Skip-Connections
- arxiv url: http://arxiv.org/abs/2201.11209v1
- Date: Wed, 26 Jan 2022 22:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-29 03:31:01.168433
- Title: On The Energy Statistics of Feature Maps in Pruning of Neural Networks
with Skip-Connections
- Title(参考訳): スキップ接続型ニューラルネットワークのプルーニングにおける特徴写像のエネルギー統計について
- Authors: Mohammadreza Soltani, Suya Wu, Yuerong Li, Jie Ding, Vahid Tarokh
- Abstract要約: 本研究では,Deep Neural Networks (DNN) をスキップ接続で圧縮するための新しい構造化プルーニングフレームワークを提案する。
隠れた層のエネルギー統計によって定義される依存度は、特徴写像とネットワークの出力の間の情報のモデルのない尺度として機能する。
- 参考スコア(独自算出の注目度): 36.39223566275535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new structured pruning framework for compressing Deep Neural
Networks (DNNs) with skip connections, based on measuring the statistical
dependency of hidden layers and predicted outputs. The dependence measure
defined by the energy statistics of hidden layers serves as a model-free
measure of information between the feature maps and the output of the network.
The estimated dependence measure is subsequently used to prune a collection of
redundant and uninformative layers. Model-freeness of our measure guarantees
that no parametric assumptions on the feature map distribution are required,
making it computationally appealing for very high dimensional feature space in
DNNs. Extensive numerical experiments on various architectures show the
efficacy of the proposed pruning approach with competitive performance to
state-of-the-art methods.
- Abstract(参考訳): 我々は,隠れた層と予測出力の統計的依存性を計測し,スキップ接続でディープニューラルネットワーク(DNN)を圧縮する新しい構造化プルーニングフレームワークを提案する。
隠れた層のエネルギー統計によって定義される依存測度は、特徴写像とネットワークの出力の間の情報に関するモデルフリーな尺度である。
推定依存測度は、後に冗長層と非可換層の集まりをプルーピングするために使用される。
提案手法のモデル自由度は,特徴写像分布のパラメトリックな仮定が不要であることを保証し,DNNにおける非常に高次元の特徴空間を計算的にアピールする。
各種アーキテクチャの大規模数値実験により, 最先端手法に対する競争性能を有するプルーニング手法の有効性が示された。
関連論文リスト
- Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳(メタデータ) (2023-10-30T11:41:41Z) - DANI: Fast Diffusion Aware Network Inference with Preserving Topological
Structure Property [2.8948274245812327]
そこで我々は,DANIと呼ばれる新しい手法を提案し,その構造特性を保ちながら基礎となるネットワークを推定する。
DANIは、モジュール構造、次数分布、連結成分、密度、クラスタリング係数を含む構造特性を維持しながら、より高い精度と低い実行時間を有する。
論文 参考訳(メタデータ) (2023-10-02T23:23:00Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Ensembles of Spiking Neural Networks [0.3007949058551534]
本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
論文 参考訳(メタデータ) (2020-10-15T17:45:18Z) - Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。
本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。
モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
論文 参考訳(メタデータ) (2020-03-30T23:27:25Z) - Distribution Approximation and Statistical Estimation Guarantees of
Generative Adversarial Networks [82.61546580149427]
GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。
本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
論文 参考訳(メタデータ) (2020-02-10T16:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。