論文の概要: Progressive Channel-Shrinking Network
- arxiv url: http://arxiv.org/abs/2304.00280v1
- Date: Sat, 1 Apr 2023 10:01:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 18:52:55.558265
- Title: Progressive Channel-Shrinking Network
- Title（参考訳）: プログレッシブチャネルシンクネットワーク
- Authors: Jianhong Pan, Siyuan Yang, Lin Geng Foo, Qiuhong Ke, Hossein Rahmani,
Zhipeng Fan, Jun Liu
- Abstract要約: そこで本稿では, ほぼゼロに近似するのではなく, 選択したサリエンスエントリを実行時に圧縮するプログレッシブ・チャンネル・シンキング法を提案する。
また,フィルタインデクシングにおけるメモリアクセスコストを低減できる静的プルーニング方式を実現するために,ランニングシュライキングポリシーを提案する。
- 参考スコア（独自算出の注目度）: 12.775165667250366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, salience-based channel pruning makes continuous breakthroughs in
network compression. In the realization, the salience mechanism is used as a
metric of channel salience to guide pruning. Therefore, salience-based channel
pruning can dynamically adjust the channel width at run-time, which provides a
flexible pruning scheme. However, there are two problems emerging: a gating
function is often needed to truncate the specific salience entries to zero,
which destabilizes the forward propagation; dynamic architecture brings more
cost for indexing in inference which bottlenecks the inference speed. In this
paper, we propose a Progressive Channel-Shrinking (PCS) method to compress the
selected salience entries at run-time instead of roughly approximating them to
zero. We also propose a Running Shrinking Policy to provide a testing-static
pruning scheme that can reduce the memory access cost for filter indexing. We
evaluate our method on ImageNet and CIFAR10 datasets over two prevalent
networks: ResNet and VGG, and demonstrate that our PCS outperforms all
baselines and achieves state-of-the-art in terms of compression-performance
tradeoff. Moreover, we observe a significant and practical acceleration of
inference.
- Abstract（参考訳）: 現在、salienceベースのチャネルプルーニングは、ネットワーク圧縮において継続的なブレークスルーをもたらす。
実現において、サルニエンス機構はプランニングを導くためのチャネルサルニエンスの計量として用いられる。
したがって、サリエンスに基づくチャネルプルーニングは、実行時のチャネル幅を動的に調整することができ、フレキシブルプルーニング方式を提供する。
しかし、2つの問題が発生する: 特定のサリエンスエントリをゼロに切り離すためにゲーティング関数がしばしば必要であり、それが前方伝播を不安定にする; 動的アーキテクチャは推論速度をボトルネックにする推論におけるインデックス化により多くのコストをもたらす。
本稿では,選択したサレンスエントリをほぼゼロにするのではなく,実行時に圧縮するprogressive channel-shrinking (pcs) 手法を提案する。
また,フィルタインデクシングにおけるメモリアクセスコストを低減できる静的プルーニング方式を実現するために,ランニングシュライキングポリシーを提案する。
ResNet と VGG の2つのネットワーク上でのImageNet と CIFAR10 データセットの評価を行い,PCS がすべてのベースラインを上回り,圧縮性能のトレードオフの観点から最先端を実現することを示す。
さらに,推測の有意かつ実用的な加速を観察する。
関連論文リスト
- CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and
Favorable Transferability For ViTs [79.54107547233625]
ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。
本稿では,高精度かつ高速な推論速度を実現するViTのジョイント圧縮手法を提案する。
提案手法は,様々な ViT にまたがって最先端の性能を実現することができる。
論文 参考訳（メタデータ） (2023-09-27T16:12:07Z) - Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。
チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。
提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
論文 参考訳（メタデータ） (2023-05-30T23:33:45Z) - Soft Masking for Cost-Constrained Channel Pruning [17.138115344464513]
構造化チャネルプルーニングは、現代のハードウェア上での畳み込みニューラルネットワーク(CNN)の推論時間を著しく加速することが示されている。
最近の研究は、トレーニング中にこれらのチャネルを永久的にゼロにしており、最終的な精度を著しく損なうことが観察されている。
本稿では,コスト制約付きチャネル・プルーニング(SMCP)のためのソフト・マスキングを提案する。
論文 参考訳（メタデータ） (2022-11-04T01:28:45Z) - Optimal channel selection with discrete QCQP [14.734454356396158]
離散QCQPによるチャネル選択を最適に行う新しいチャネル選択法を提案する。
また,実推定時間を正確に推定する2次モデルを提案する。
CIFAR-10 と ImageNet を用いた実験により,提案手法は様々なネットワークアーキテクチャ上で,他の固定インピーダンスチャネルプルーニング法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-02-24T23:26:51Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳（メタデータ） (2021-10-21T06:26:31Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。
ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。
静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文 参考訳（メタデータ） (2021-03-24T15:25:20Z) - Towards Optimal Filter Pruning with Balanced Performance and Pruning
Speed [17.115185960327665]
本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。
提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。
提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
論文 参考訳（メタデータ） (2020-10-14T06:17:09Z) - Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。
本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。
画像分類と顔認識の両方の実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-01-04T07:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。