論文の概要: Model Compression using Progressive Channel Pruning

• arxiv url: http://arxiv.org/abs/2507.04792v1
• Date: Mon, 07 Jul 2025 09:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.348337
• Title: Model Compression using Progressive Channel Pruning
• Title（参考訳）: プログレッシブチャネルプルーニングを用いたモデル圧縮
• Authors: Jinyang Guo, Weichen Zhang, Wanli Ouyang, Dong Xu,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)を高速化するPCP(Progressive Channel Pruning)というフレームワークを提案する。 我々のフレームワークは、複数の選択された層から少数のチャンネルを反復的にプルークし、各イテレーションで3ステップの試行選択パイプラインで構成されています。 2つのベンチマークデータセットに関する包括的な実験は、PCPフレームワークが既存のチャネルプルーニングアプローチよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 73.95107098134964
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we propose a simple but effective channel pruning framework called Progressive Channel Pruning (PCP) to accelerate Convolutional Neural Networks (CNNs). In contrast to the existing channel pruning methods that prune channels only once per layer in a layer-by-layer fashion, our new progressive framework iteratively prunes a small number of channels from several selected layers, which consists of a three-step attempting-selecting-pruning pipeline in each iteration. In the attempting step, we attempt to prune a pre-defined number of channels from one layer by using any existing channel pruning methods and estimate the accuracy drop for this layer based on the labelled samples in the validation set. In the selecting step, based on the estimated accuracy drops for all layers, we propose a greedy strategy to automatically select a set of layers that will lead to less overall accuracy drop after pruning these layers. In the pruning step, we prune a small number of channels from these selected layers. We further extend our PCP framework to prune channels for the deep transfer learning methods like Domain Adversarial Neural Network (DANN), in which we effectively reduce the data distribution mismatch in the channel pruning process by using both labelled samples from the source domain and pseudo-labelled samples from the target domain. Our comprehensive experiments on two benchmark datasets demonstrate that our PCP framework outperforms the existing channel pruning approaches under both supervised learning and transfer learning settings.
• Abstract（参考訳）: 本研究では、畳み込みニューラルネットワーク(CNN)を高速化するために、PCP(Progressive Channel Pruning)と呼ばれるシンプルで効果的なチャネル切断フレームワークを提案する。 新しいプログレッシブ・フレームワークでは,各イテレーションにおいて,各レイヤ毎に1回だけチャネルをプルーする既存のチャネルプルーニング手法とは対照的に,複数レイヤから少数のチャネルをプルーする。 提案手法では,既存のチャネルプルーニング手法を用いて,既定のチャネル数を1層から抽出し,検証セット内のラベル付きサンプルに基づいて,このレイヤの精度低下を推定する。 選択ステップでは,すべての層に対する推定精度低下に基づいて,これらの層を刈り取った後の全体的な精度低下を減少させるような一連の層を自動的に選択する欲求戦略を提案する。 プルーニングステップでは、これらの選択された層から少数のチャネルをプルークする。 我々はさらに,PCPフレームワークをDANN(Domain Adversarial Neural Network)のような深層移動学習手法のチャネルに拡張し,ソースドメインからのラベル付きサンプルとターゲットドメインからの擬似ラベル付きサンプルの両方を使用することで,チャネルプルーニングプロセスにおけるデータ分散ミスマッチを効果的に低減する。 2つのベンチマークデータセットに関する包括的な実験により、PCPフレームワークは、教師付き学習と転送学習の両方の環境下で、既存のチャネルプルーニングアプローチよりも優れていることを示した。

関連論文リスト

• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• CHEX: CHannel EXploration for CNN Model Compression [47.3520447163165]
  本稿では,これらの問題を是正するために,CHEXと呼ばれる新しいチャネル探索手法を提案する。 CheXはトレーニングプロセスを通じてチャネルを繰り返しプーンして再成長させ、重要なチャネルを早期にプルーニングするリスクを低減させる。 CHEXは様々なコンピュータビジョンタスクにおいて,多様なCNNアーキテクチャのFLOPを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-03-29T17:52:41Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
  DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。 本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。 提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
  論文  参考訳（メタデータ） (2020-05-07T09:39:55Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。