論文の概要: ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via
Fine-Grained Architecture-Preserving Pruning
- arxiv url: http://arxiv.org/abs/2011.10170v4
- Date: Sat, 1 May 2021 03:33:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 06:14:54.482195
- Title: ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via
Fine-Grained Architecture-Preserving Pruning
- Title（参考訳）: clicktrain: きめ細かなアーキテクチャ保存プルーニングによる、効率的で正確なエンドツーエンドディープラーニングトレーニング
- Authors: Chengming Zhang, Geng Yuan, Wei Niu, Jiannan Tian, Sian Jin, Donglin
Zhuang, Zhe Jiang, Yanzhi Wang, Bin Ren, Shuaiwen Leon Song, Dingwen Tao
- Abstract要約: 畳み込みニューラルネットワーク(CNN)はますます深くなり、より広く、非線形になっている。
CNNのための効率的なエンドツーエンドトレーニングおよびプルーニングフレームワークであるClickTrainを提案する。
- 参考スコア（独自算出の注目度）: 35.22893238058557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNNs) are becoming increasingly deeper, wider,
and non-linear because of the growing demand on prediction accuracy and
analysis quality. The wide and deep CNNs, however, require a large amount of
computing resources and processing time. Many previous works have studied model
pruning to improve inference performance, but little work has been done for
effectively reducing training cost. In this paper, we propose ClickTrain: an
efficient and accurate end-to-end training and pruning framework for CNNs.
Different from the existing pruning-during-training work, ClickTrain provides
higher model accuracy and compression ratio via fine-grained
architecture-preserving pruning. By leveraging pattern-based pruning with our
proposed novel accurate weight importance estimation, dynamic pattern
generation and selection, and compiler-assisted computation optimizations,
ClickTrain generates highly accurate and fast pruned CNN models for direct
deployment without any extra time overhead, compared with the baseline
training. ClickTrain also reduces the end-to-end time cost of the
pruning-after-training method by up to 2.3X with comparable accuracy and
compression ratio. Moreover, compared with the state-of-the-art
pruning-during-training approach, ClickTrain provides significant improvements
both accuracy and compression ratio on the tested CNN models and datasets,
under similar limited training time.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、予測精度と分析品質に対する需要が高まっているため、より深く、より広く、非線形になってきている。
しかし、広範かつ深いCNNは、大量のコンピューティングリソースと処理時間を必要とする。
これまでの多くの研究は推論性能を改善するためにモデルプルーニングを研究してきたが、トレーニングコストを効果的に削減するための作業はほとんど行われていない。
本稿では、CNNのための効率的かつ正確なエンドツーエンドトレーニングおよびプルーニングフレームワークであるClickTrainを提案する。
既存のpruning-during-training作業とは異なり、ClickTrainはアーキテクチャ保存プルーニングによってモデル精度と圧縮率を高める。
提案するパターンベースのプルーニングと,提案する新しい正確な重み付け重要度推定,動的パターン生成と選択,コンパイラ支援による計算最適化を組み合わせることで,clicktrainは,ベースライントレーニングと比較して,超高精度で高速なpruned cnnモデルを生成する。
ClickTrainはまた、pruning-after-trainingメソッドのエンドツーエンドの時間コストを、同等の精度と圧縮比で2.3Xまで削減する。
さらに、ClickTrainは最先端のプルーニングデューリングトレーニングアプローチと比較して、テスト済みのCNNモデルとデータセットの精度と圧縮比の両方を、同様のトレーニング時間で大幅に改善する。
関連論文リスト
- DεpS: Delayed ε-Shrinking for Faster Once-For-All Training [8.199430861588919]
CNNは、さまざまなハードウェア、動的環境、低消費電力組み込みデバイスにデプロイされるようになっている。
一度限りのトレーニングは、多くのモデル(サブネット)を一定のトレーニングコストで同時にトレーニングする、スケーラブルなアプローチとして現れました。
Delayed $epsilon$-Shrinking (D$epsilon$pS)を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:45:40Z) - Effective pruning of web-scale datasets based on complexity of concept
clusters [48.125618324485195]
本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。
高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。
我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
論文 参考訳（メタデータ） (2024-01-09T14:32:24Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である
ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。
重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
論文 参考訳（メタデータ） (2022-03-04T19:54:31Z) - Accelerating Deep Learning with Dynamic Data Pruning [0.0]
ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。
forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。
本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
論文 参考訳（メタデータ） (2021-11-24T16:47:34Z) - Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。
本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。
HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
論文 参考訳（メタデータ） (2021-03-23T17:37:51Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - Weight Update Skipping: Reducing Training Time for Artificial Neural
Networks [0.30458514384586394]
本稿では,時間的変動を示す精度向上の観察を生かしたANNのための新しいトレーニング手法を提案する。
このような時間窓の間、ネットワークがまだトレーニングされていることを保証し、過度な適合を避けるバイアスを更新し続けます。
このようなトレーニングアプローチは、計算コストを大幅に削減して、ほぼ同じ精度を達成し、トレーニング時間を短縮する。
論文 参考訳（メタデータ） (2020-12-05T15:12:10Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。