論文の概要: Channel Pruning via Optimal Thresholding
- arxiv url: http://arxiv.org/abs/2003.04566v5
- Date: Thu, 10 Sep 2020 05:42:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 21:12:35.154448
- Title: Channel Pruning via Optimal Thresholding
- Title(参考訳): 最適Thresholdingによるチャネルプルーニング
- Authors: Yun Ye, Ganmei You, Jong-Kae Fwu, Xia Zhu, Qing Yang and Yuan Zhu
- Abstract要約: 構造化プルーニング、特にチャネルプルーニングは、計算コストの削減と市販のハードウェアデバイスとの互換性のために広く利用されている。
層依存性のしきい値を持つチャネルをプーンするために, OT (Optimal Thresholding) と呼ばれる簡易かつ効果的な手法を提案する。
CIFAR-100では、OTを用いて微調整されたNet-121が1.46e8のFLOPと0.71Mのパラメータで75.99%の精度を達成した。
- 参考スコア(独自算出の注目度): 7.051974163915315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning, especially channel pruning is widely used for the reduced
computational cost and the compatibility with off-the-shelf hardware devices.
Among existing works, weights are typically removed using a predefined global
threshold, or a threshold computed from a predefined metric. The predefined
global threshold based designs ignore the variation among different layers and
weights distribution, therefore, they may often result in sub-optimal
performance caused by over-pruning or under-pruning. In this paper, we present
a simple yet effective method, termed Optimal Thresholding (OT), to prune
channels with layer dependent thresholds that optimally separate important from
negligible channels. By using OT, most negligible or unimportant channels are
pruned to achieve high sparsity while minimizing performance degradation. Since
most important weights are preserved, the pruned model can be further
fine-tuned and quickly converge with very few iterations. Our method
demonstrates superior performance, especially when compared to the
state-of-the-art designs at high levels of sparsity. On CIFAR-100, a pruned and
fine-tuned DenseNet-121 by using OT achieves 75.99% accuracy with only 1.46e8
FLOPs and 0.71M parameters.
- Abstract(参考訳): 構造的プルーニング、特にチャネルプルーニングは、計算コストの低減と既製のハードウェアデバイスとの互換性のために広く使われている。
既存の作業の中で、重みは通常、事前定義されたグローバルしきい値または事前定義されたメトリックから計算されたしきい値を使用して取り除かれる。
事前定義されたグローバルしきい値に基づく設計は、異なる層と重みの分布のばらつきを無視するので、オーバープルーニングやアンダープルーニングによる準最適性能をもたらすことがある。
本稿では,無視可能なチャネルから最適に分離する層依存しきい値を持つpruneチャネルに対して,簡易かつ効果的な最適しきい値(ot)法を提案する。
OTを用いることで、ほとんどの無視または重要でないチャネルを切断し、性能劣化を最小限に抑えながら高い疎性を実現する。
ほとんどの重要な重みが保存されるため、プルーニングされたモデルはより微調整され、ごくわずかなイテレーションで素早く収束することができる。
提案手法は,特に高レベルの最先端設計と比較して,優れた性能を示す。
CIFAR-100では、OTを用いて微調整されたDenseNet-121が1.46e8のFLOPと0.71Mのパラメータで75.99%の精度を達成した。
関連論文リスト
- Enhanced Sparsification via Stimulative Training [36.0559905521154]
既存の方法では、減量重みの重要性を抑制するために、時差による罰則を設定するのが一般的である。
本稿では,拡張スパシフィケーションパラダイムに基づく,表現性という構造的プルーニングフレームワークを提案する。
蒸留の容量ギャップを小さくするため, 変異膨張法を提案する。
論文 参考訳(メタデータ) (2024-03-11T04:05:17Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Model [105.63770797908127]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - PDP: Parameter-free Differentiable Pruning is All You Need [9.050217604438458]
そこで本研究では,効率的な列車時プルーニング手法を提案する。
differentiable Pruning (PDP) - モデルのサイズ、精度、トレーニングコストの最先端性を提供する。
微分可能ではあるが、PDPの単純さと効率は、最先端のランダム/構造化/チャネルプルーニング結果を提供するのに十分な普遍性をもたらす。
論文 参考訳(メタデータ) (2023-05-18T16:57:10Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳(メタデータ) (2021-10-21T06:26:31Z) - GDP: Stabilized Neural Network Pruning via Gates with Differentiable
Polarization [84.57695474130273]
ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。
GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。
CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2021-09-06T03:17:10Z) - Pruning with Compensation: Efficient Channel Pruning for Deep
Convolutional Neural Networks [0.9712140341805068]
刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。
本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
論文 参考訳(メタデータ) (2021-08-31T10:17:36Z) - Connectivity Matters: Neural Network Pruning Through the Lens of
Effective Sparsity [0.0]
ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。
ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。
我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
論文 参考訳(メタデータ) (2021-07-05T22:36:57Z) - Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。
構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
論文 参考訳(メタデータ) (2021-01-22T04:08:03Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳(メタデータ) (2021-01-20T06:18:38Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-03-12T07:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。