論文の概要: CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization
- arxiv url: http://arxiv.org/abs/2110.10921v1
- Date: Thu, 21 Oct 2021 06:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 13:54:09.492259
- Title: CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization
- Title（参考訳）: CATRO: クラス認識トレース比最適化によるチャネルプルーニング
- Authors: Wenzheng Hu, Ning Liu, Zhengping Che, Mingyang Li, Jian Tang,
Changshui Zhang, Jianqiang Wang
- Abstract要約: 本稿では,計算負荷を低減し,モデル推論を高速化するクラス認識トレース比最適化(CATRO)を提案する。
CATROは,他の最先端チャネルプルーニングアルゴリズムと同等の精度で,類似のコストや低コストで高い精度を達成できることを示す。
- 参考スコア（独自算出の注目度）: 46.85890872631859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks are shown to be overkill with high
parametric and computational redundancy in many application scenarios, and an
increasing number of works have explored model pruning to obtain lightweight
and efficient networks. However, most existing pruning approaches are driven by
empirical heuristics and rarely consider the joint impact of channels, leading
to unguaranteed and suboptimal performance. In this paper, we propose a novel
channel pruning method via class-aware trace ratio optimization (CATRO) to
reduce the computational burden and accelerate the model inference. Utilizing
class information from a few samples, CATRO measures the joint impact of
multiple channels by feature space discriminations and consolidates the
layer-wise impact of preserved channels. By formulating channel pruning as a
submodular set function maximization problem, CATRO solves it efficiently via a
two-stage greedy iterative optimization procedure. More importantly, we present
theoretical justifications on convergence and performance of CATRO.
Experimental results demonstrate that CATRO achieves higher accuracy with
similar computation cost or lower computation cost with similar accuracy than
other state-of-the-art channel pruning algorithms. In addition, because of its
class-aware property, CATRO is suitable to prune efficient networks adaptively
for various classification subtasks, enhancing handy deployment and usage of
deep networks in real-world applications.
- Abstract（参考訳）: 深層畳み込みニューラルネットワークは、多くのアプリケーションシナリオにおいて高いパラメトリックおよび計算冗長性で過剰に機能していることが示されており、軽量で効率的なネットワークを得るためにモデルプラニングを探求する作業が増えている。
しかしながら、既存のプルーニングアプローチの多くは経験的ヒューリスティックスによって駆動され、チャネルの結合的な影響をほとんど考慮せず、曖昧で最適でないパフォーマンスに繋がる。
本稿では,計算負荷を低減し,モデル推論を高速化するために,クラスアウェアトレース比最適化(catro)を用いた新しいチャネルプルーニング手法を提案する。
いくつかのサンプルからクラス情報を利用することで、CATROは特徴空間の識別によって複数のチャネルの結合影響を測定し、保存されたチャネルの層的影響を統合する。
チャネルプルーニングを部分モジュラー集合関数最大化問題として定式化することにより、catroは2段階のグリーディ反復最適化手順により効率的に解く。
さらに,catroの収束と性能に関する理論的正当性を示す。
実験の結果、catroは他の最先端チャネルプラニングアルゴリズムと同等の精度で、同様の計算コストや計算コストの低減で高い精度を達成できることが示されている。
さらに,CATROはクラス認識の特性から,様々な分類サブタスクに適応的に効率の良いネットワークを創出するのに適しており,実世界のアプリケーションにおけるディープネットワークの便利展開と利用が向上している。
関連論文リスト
- FGP: Feature-Gradient-Prune for Efficient Convolutional Layer Pruning [16.91552023598741]
本稿では,FGP (Feature-Gradient Pruning) と呼ばれる新しいプルーニング手法を提案する。
特徴に基づく情報と勾配に基づく情報を統合し、様々なターゲットクラスにおけるチャネルの重要性をより効果的に評価する。
複数のタスクやデータセットにまたがる実験により、FGPは計算コストを大幅に削減し、精度損失を最小化することが示された。
論文 参考訳（メタデータ） (2024-11-19T08:42:15Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳（メタデータ） (2023-01-26T12:32:01Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z) - Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。
我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
論文 参考訳（メタデータ） (2020-07-08T07:44:00Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。