論文の概要: On The Energy Statistics of Feature Maps in Pruning of Neural Networks
with Skip-Connections
- arxiv url: http://arxiv.org/abs/2201.11209v1
- Date: Wed, 26 Jan 2022 22:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-29 03:31:01.168433
- Title: On The Energy Statistics of Feature Maps in Pruning of Neural Networks
with Skip-Connections
- Title（参考訳）: スキップ接続型ニューラルネットワークのプルーニングにおける特徴写像のエネルギー統計について
- Authors: Mohammadreza Soltani, Suya Wu, Yuerong Li, Jie Ding, Vahid Tarokh
- Abstract要約: 本研究では,Deep Neural Networks (DNN) をスキップ接続で圧縮するための新しい構造化プルーニングフレームワークを提案する。
隠れた層のエネルギー統計によって定義される依存度は、特徴写像とネットワークの出力の間の情報のモデルのない尺度として機能する。
- 参考スコア（独自算出の注目度）: 36.39223566275535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new structured pruning framework for compressing Deep Neural
Networks (DNNs) with skip connections, based on measuring the statistical
dependency of hidden layers and predicted outputs. The dependence measure
defined by the energy statistics of hidden layers serves as a model-free
measure of information between the feature maps and the output of the network.
The estimated dependence measure is subsequently used to prune a collection of
redundant and uninformative layers. Model-freeness of our measure guarantees
that no parametric assumptions on the feature map distribution are required,
making it computationally appealing for very high dimensional feature space in
DNNs. Extensive numerical experiments on various architectures show the
efficacy of the proposed pruning approach with competitive performance to
state-of-the-art methods.
- Abstract（参考訳）: 我々は,隠れた層と予測出力の統計的依存性を計測し,スキップ接続でディープニューラルネットワーク(DNN)を圧縮する新しい構造化プルーニングフレームワークを提案する。
隠れた層のエネルギー統計によって定義される依存測度は、特徴写像とネットワークの出力の間の情報に関するモデルフリーな尺度である。
推定依存測度は、後に冗長層と非可換層の集まりをプルーピングするために使用される。
提案手法のモデル自由度は,特徴写像分布のパラメトリックな仮定が不要であることを保証し,DNNにおける非常に高次元の特徴空間を計算的にアピールする。
各種アーキテクチャの大規模数値実験により, 最先端手法に対する競争性能を有するプルーニング手法の有効性が示された。
関連論文リスト
- Nonparametric estimation of a factorizable density using diffusion models [3.5773675235837974]
本稿では,非パラメトリック密度推定に対する暗黙的なアプローチとして拡散モデルについて検討する。
拡散モデルから構成した暗黙密度推定器は、分解構造に適応し、最小値の最適速度を達成することを示す。
推定器を構築する際には、疎ウェイトシェアリングニューラルネットワークアーキテクチャを設計する。
論文 参考訳（メタデータ） (2025-01-03T12:32:19Z) - Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance [25.579863542008646]
本稿では,アクティベーション統計に基づく直感的で解釈可能なプルーニング手法を提案する。
我々は,データセット全体にわたる重み付けの分布を構築し,そのパラメータを用いて刈り取りプロセスのガイドを行う。
提案手法は,いくつかのベースラインおよび最先端プルーニング技術より一貫して優れる。
論文 参考訳（メタデータ） (2024-10-21T16:18:31Z) - Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。
ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-09-27T16:02:12Z) - Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。
ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
論文 参考訳（メタデータ） (2023-07-01T01:07:20Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Distribution Approximation and Statistical Estimation Guarantees of
Generative Adversarial Networks [82.61546580149427]
GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。
本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
論文 参考訳（メタデータ） (2020-02-10T16:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。