論文の概要: Position-based Scaled Gradient for Model Quantization and Pruning

• arxiv url: http://arxiv.org/abs/2005.11035v4
• Date: Wed, 11 Nov 2020 03:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:41:50.774359
• Title: Position-based Scaled Gradient for Model Quantization and Pruning
• Title（参考訳）: モデル量子化とプルーニングのための位置ベーススケール勾配
• Authors: Jangho Kim, KiYoon Yoo, Nojun Kwak
• Abstract要約: 標準勾配勾配降下(GD)にPSGを適用することは、歪んだ重み空間におけるGDと等価であることを示す。 重みベクトルに正規化子として作用するPSGは、量子化やプルーニングなどのモデル圧縮領域に好適であることを示す。
• 参考スコア（独自算出の注目度）: 37.610105907103296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the position-based scaled gradient (PSG) that scales the gradient depending on the position of a weight vector to make it more compression-friendly. First, we theoretically show that applying PSG to the standard gradient descent (GD), which is called PSGD, is equivalent to the GD in the warped weight space, a space made by warping the original weight space via an appropriately designed invertible function. Second, we empirically show that PSG acting as a regularizer to a weight vector is favorable for model compression domains such as quantization and pruning. PSG reduces the gap between the weight distributions of a full-precision model and its compressed counterpart. This enables the versatile deployment of a model either as an uncompressed mode or as a compressed mode depending on the availability of resources. The experimental results on CIFAR-10/100 and ImageNet datasets show the effectiveness of the proposed PSG in both domains of pruning and quantization even for extremely low bits. The code is released in Github.
• Abstract（参考訳）: 本研究では,重みベクトルの位置に応じて勾配をスケールし,より圧縮しやすい位置スケールド勾配 (psg) を提案する。 まず,psgを標準勾配降下 (gd, psgd) に応用することは, 適切に設計された可逆関数によって元の重み空間を反動させることで得られる, 反動重み空間における gd と同値であることを示す。 第二に、重みベクトルに正規化子として作用するPSGが量子化やプルーニングなどのモデル圧縮領域に好適であることを示す。 PSGは、全精度モデルと圧縮されたモデルの間の重量分布のギャップを小さくする。 これにより、リソースの可用性に応じて、非圧縮モードまたは圧縮モードとしてモデルの多彩なデプロイが可能になる。 CIFAR-10/100とImageNetデータセットの実験結果から,極低ビットでもプルーニングと量子化の両領域におけるPSGの有効性が示された。 コードはgithubで公開されている。

関連論文リスト

• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• PSC: Posterior Sampling-Based Compression [34.50287066865267]
  Posterior Sampling-based Compression (PSC) は、学習前の拡散モデルを唯一のニューラルネットワークコンポーネントとして利用するゼロショット圧縮法である。 PSCは画像に適応した変換を構成する。 我々はPSCの性能が、レート、歪み、知覚品質の点で確立されたトレーニングベースの手法に匹敵することを示した。
  論文  参考訳（メタデータ） (2024-07-13T14:24:22Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression [18.24902526033056]
  Sparse Processing (STP) を用いたVoxelized PCGのマルチスケール表現による統合ポイントクラウド幾何 (PCG) 圧縮手法を開発した。 複雑性を適用することで複雑性を著しく減少させるのは、最も確率の高いVoxels(MP-POV)を中心とした畳み込みのみを実行するためである。 提案手法は,すべてのスケールでモデル共有を行うため,ポイントワイズによる軽量な複雑性と,小さなストレージ欲求を示す。
  論文  参考訳（メタデータ） (2021-11-20T17:02:45Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。