論文の概要: Exploring Gradient Flow Based Saliency for DNN Model Compression

• arxiv url: http://arxiv.org/abs/2110.12477v1
• Date: Sun, 24 Oct 2021 16:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 15:19:06.413937
• Title: Exploring Gradient Flow Based Saliency for DNN Model Compression
• Title（参考訳）: DNNモデル圧縮のためのグラディエントフローに基づくサリエンシ探索
• Authors: Xinyu Liu, Baopu Li, Zhen Chen, Yixuan Yuan
• Abstract要約: モデルプルーニングは、ディープニューラルネットワーク(DNN)モデルのサイズや計算オーバーヘッドを低減することを目的としている。 DNNのチャネル重要度を評価する従来のモデルプルーニング手法は,各チャネルの局所的解析にあまりにも注意を払っている。 本稿では,新しい流れの観点から新しいモデルプルーニング法を提案する。
• 参考スコア（独自算出の注目度）: 21.993801817422572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model pruning aims to reduce the deep neural network (DNN) model size or computational overhead. Traditional model pruning methods such as l-1 pruning that evaluates the channel significance for DNN pay too much attention to the local analysis of each channel and make use of the magnitude of the entire feature while ignoring its relevance to the batch normalization (BN) and ReLU layer after each convolutional operation. To overcome these problems, we propose a new model pruning method from a new perspective of gradient flow in this paper. Specifically, we first theoretically analyze the channel's influence based on Taylor expansion by integrating the effects of BN layer and ReLU activation function. Then, the incorporation of the first-order Talyor polynomial of the scaling parameter and the shifting parameter in the BN layer is suggested to effectively indicate the significance of a channel in a DNN. Comprehensive experiments on both image classification and image denoising tasks demonstrate the superiority of the proposed novel theory and scheme. Code is available at https://github.com/CityU-AIM-Group/GFBS.
• Abstract（参考訳）: モデルプルーニングは、ディープニューラルネットワーク(DNN)モデルのサイズや計算オーバーヘッドを低減することを目的としている。 DNNのチャネル重要度を評価するl-1プルーニングのような従来のモデルプルーニング手法は、各チャネルの局所的な解析にあまりに注意を払っており、各畳み込み操作後のバッチ正規化(BN)とReLU層との関係を無視しながら、特徴全体の大きさを利用する。 これらの問題を克服するため,本論文では,勾配流の新しい視点から新しいモデルプルーニング法を提案する。 具体的には,まず,bn層とrelu活性化関数の効果を統合することにより,taylor展開に基づくチャネルの影響を理論的に解析した。 次に、スケーリングパラメータの1階タリオル多項式とBN層のシフトパラメータを組み込むことにより、DNNにおけるチャネルの意義を効果的に示すことを提案する。 画像分類と画像分類の両タスクに関する包括的実験は,提案する新理論とスキームの優越性を示している。 コードはhttps://github.com/CityU-AIM-Group/GFBSで入手できる。

関連論文リスト

• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
  我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。 大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2023-02-02T10:40:06Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• DDPG-Driven Deep-Unfolding with Adaptive Depth for Channel Estimation with Sparse Bayesian Learning [23.158142411929322]
  まず,異なる入力に対して適応的な深さを持つDDPG(Deep Deterministic Policy gradient)駆動のディープアンフォールディングの枠組みを開発する。 具体的には,大規模マルチインプットマルチアウトプットシステムにおけるチャネル推定問題に対処するために,このフレームワークを用いる。
  論文  参考訳（メタデータ） (2022-01-20T22:35:42Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation [36.479195100553085]
  畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間からなる。 非次元カーネル回帰(NNK)グラフに基づく新しい一般化推定法であるチャネルワイドDeepNNKを提案する。
  論文  参考訳（メタデータ） (2021-07-27T17:33:30Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
  深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T20:12:46Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。