論文の概要: Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method

• arxiv url: http://arxiv.org/abs/2204.04375v1
• Date: Sat, 9 Apr 2022 03:13:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 07:25:48.739408
• Title: Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
• Title（参考訳）: 量子化アウェアトレーニングにおけるチャネルプルーニング : 適応的投射-勾配降下-シュリンカゲ-スプリッティング法
• Authors: Zhijian Li and Jack Xin
• Abstract要約: ペナルティに基づくチャネルプルーニングを量子化対応トレーニング(QAT)に統合するための適応的プロジェクティブ勾配降下収縮分割法(APGDSSM)を提案する。 APGDSSMは、量子化された部分空間とスパース部分空間の両方で重みを同時に検索する。
• 参考スコア（独自算出の注目度）: 5.025654873456756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an adaptive projection-gradient descent-shrinkage-splitting method (APGDSSM) to integrate penalty based channel pruning into quantization-aware training (QAT). APGDSSM concurrently searches weights in both the quantized subspace and the sparse subspace. APGDSSM uses shrinkage operator and a splitting technique to create sparse weights, as well as the Group Lasso penalty to push the weight sparsity into channel sparsity. In addition, we propose a novel complementary transformed l1 penalty to stabilize the training for extreme compression.
• Abstract（参考訳）: 本稿では, ペナルティに基づくチャネルプルーニングを量子化学習(QAT)に統合するために, 適応的プロジェクション勾配降下収縮分離法(APGDSSM)を提案する。 APGDSSMは、量子化された部分空間とスパース部分空間の両方で重みを同時に検索する。 APGDSSMはスリッサージ演算子とスプリッティング法を用いてスパースウェイトを生成するとともに、グループラッソペナルティを用いて、ウェイトスパーシをチャネルスパーシティにプッシュする。 さらに, 過度圧縮のトレーニングを安定させるために, 補間変換型l1ペナルティを提案する。

関連論文リスト

• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs [22.25748046511075]
  AdpQは大規模言語モデル(LLM)のための新しいゼロショット適応型PTQ法である キャリブレーションデータを必要としない低精度量子化における最先端の性能を実現する。 その結果,LLMベンチマークの既存手法と同様の精度が得られ,量子化時間は少なくとも10倍に短縮された。
  論文  参考訳（メタデータ） (2024-05-22T05:32:11Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• CARNet:Compression Artifact Reduction for Point Cloud Attribute [37.78660069355263]
  圧縮アーチファクトを低減するため,Geometry-based Point Cloud Compression (G-PCC) 標準の学習型適応ループフィルタを開発した。 提案手法は, 圧縮歪み近似として複数のMPSOを生成し, アーティファクト緩和のために線形に重み付けする。
  論文  参考訳（メタデータ） (2022-09-17T08:05:35Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods [31.869228048294445]
  指定された制約に縛られた動的に更新された正規化項を持つ統合DNN重み決定フレームワークを提案する。 また、異なるDNN圧縮タスクを組み合わせるための統合フレームワークにもメソッドを拡張します。
  論文  参考訳（メタデータ） (2020-04-12T02:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。