論文の概要: Channel Pruning In Quantization-aware Training: An Adaptive
Projection-gradient Descent-shrinkage-splitting Method
- arxiv url: http://arxiv.org/abs/2204.04375v1
- Date: Sat, 9 Apr 2022 03:13:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 07:25:48.739408
- Title: Channel Pruning In Quantization-aware Training: An Adaptive
Projection-gradient Descent-shrinkage-splitting Method
- Title(参考訳): 量子化アウェアトレーニングにおけるチャネルプルーニング : 適応的投射-勾配降下-シュリンカゲ-スプリッティング法
- Authors: Zhijian Li and Jack Xin
- Abstract要約: ペナルティに基づくチャネルプルーニングを量子化対応トレーニング(QAT)に統合するための適応的プロジェクティブ勾配降下収縮分割法(APGDSSM)を提案する。
APGDSSMは、量子化された部分空間とスパース部分空間の両方で重みを同時に検索する。
- 参考スコア(独自算出の注目度): 5.025654873456756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an adaptive projection-gradient descent-shrinkage-splitting method
(APGDSSM) to integrate penalty based channel pruning into quantization-aware
training (QAT). APGDSSM concurrently searches weights in both the quantized
subspace and the sparse subspace. APGDSSM uses shrinkage operator and a
splitting technique to create sparse weights, as well as the Group Lasso
penalty to push the weight sparsity into channel sparsity. In addition, we
propose a novel complementary transformed l1 penalty to stabilize the training
for extreme compression.
- Abstract(参考訳): 本稿では, ペナルティに基づくチャネルプルーニングを量子化学習(QAT)に統合するために, 適応的プロジェクション勾配降下収縮分離法(APGDSSM)を提案する。
APGDSSMは、量子化された部分空間とスパース部分空間の両方で重みを同時に検索する。
APGDSSMはスリッサージ演算子とスプリッティング法を用いてスパースウェイトを生成するとともに、グループラッソペナルティを用いて、ウェイトスパーシをチャネルスパーシティにプッシュする。
さらに, 過度圧縮のトレーニングを安定させるために, 補間変換型l1ペナルティを提案する。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Improved Quantization Strategies for Managing Heavy-tailed Gradients in
Distributed Learning [20.91559450517002]
その結果, 勾配分布は重く, アウトレーヤは圧縮戦略の設計に大きく影響していることがわかった。
既存のパラメータ量子化法は、この重み付き特徴が無視されるときに性能劣化を経験する。
重み付き勾配勾配に特化して設計された新しい圧縮スキームを導入し, トラルニケーションと量子化を効果的に組み合わせた。
論文 参考訳(メタデータ) (2024-02-02T06:14:31Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - CARNet:Compression Artifact Reduction for Point Cloud Attribute [37.78660069355263]
圧縮アーチファクトを低減するため,Geometry-based Point Cloud Compression (G-PCC) 標準の学習型適応ループフィルタを開発した。
提案手法は, 圧縮歪み近似として複数のMPSOを生成し, アーティファクト緩和のために線形に重み付けする。
論文 参考訳(メタデータ) (2022-09-17T08:05:35Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳(メタデータ) (2022-08-05T01:23:54Z) - Federated Optimization Algorithms with Random Reshuffling and Gradient
Compression [2.7554288121906296]
勾配圧縮法と非置換サンプリング法を初めて解析する。
制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。
既存のアルゴリズムを改善するいくつかの設定について概説する。
論文 参考訳(メタデータ) (2022-06-14T17:36:47Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z) - Quantized Adam with Error Feedback [11.91306069500983]
本稿では,深層ニューラルネットワークを学習するための適応勾配法の分散変種について述べる。
労働者間の通信コストを低減するために,2種類の量子化方式を取り入れた。
論文 参考訳(メタデータ) (2020-04-29T13:21:54Z) - A Unified DNN Weight Compression Framework Using Reweighted Optimization
Methods [31.869228048294445]
指定された制約に縛られた動的に更新された正規化項を持つ統合DNN重み決定フレームワークを提案する。
また、異なるDNN圧縮タスクを組み合わせるための統合フレームワークにもメソッドを拡張します。
論文 参考訳(メタデータ) (2020-04-12T02:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。