論文の概要: Operation-Aware Soft Channel Pruning using Differentiable Masks

• arxiv url: http://arxiv.org/abs/2007.03938v2
• Date: Wed, 22 Jul 2020 02:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 09:43:24.980378
• Title: Operation-Aware Soft Channel Pruning using Differentiable Masks
• Title（参考訳）: 微分マスクを用いた操作対応ソフトチャネルプルーニング
• Authors: Minsoo Kang and Bohyung Han
• Abstract要約: 本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
• 参考スコア（独自算出の注目度）: 51.04085547997066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a simple but effective data-driven channel pruning algorithm, which compresses deep neural networks in a differentiable way by exploiting the characteristics of operations. The proposed approach makes a joint consideration of batch normalization (BN) and rectified linear unit (ReLU) for channel pruning; it estimates how likely the two successive operations deactivate each feature map and prunes the channels with high probabilities. To this end, we learn differentiable masks for individual channels and make soft decisions throughout the optimization procedure, which facilitates to explore larger search space and train more stable networks. The proposed framework enables us to identify compressed models via a joint learning of model parameters and channel pruning without an extra procedure of fine-tuning. We perform extensive experiments and achieve outstanding performance in terms of the accuracy of output networks given the same amount of resources when compared with the state-of-the-art methods.
• Abstract（参考訳）: 本稿では, 深層ニューラルネットワークを演算特性を利用して, 異なる方法で圧縮する, 単純だが効果的なチャネルプルーニングアルゴリズムを提案する。 提案手法では,チャネルプルーニングのためのバッチ正規化(bn)と整流線形単位(relu)を共同で検討する。 この目的のために,各チャネルの識別可能なマスクを学習し,最適化手順全体を通じてソフトな決定を行う。 提案フレームワークは,モデルパラメータとチャネルプルーニングの連成学習を通じて,微調整の余分な手順を伴わずに圧縮されたモデルを同定することを可能にする。 我々は,最先端手法と比較して,同一量のリソースを与えられた出力ネットワークの精度において,広範な実験を行い,優れた性能を実現する。

関連論文リスト

• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
  大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。 一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。 本稿では2つの新しい推定法を提案する。
  論文  参考訳（メタデータ） (2021-09-06T13:42:32Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
  深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T20:12:46Z)
• DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
  DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。 本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。 提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
  論文  参考訳（メタデータ） (2020-05-07T09:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。