論文の概要: Position-based Scaled Gradient for Model Quantization and Pruning

• arxiv url: http://arxiv.org/abs/2005.11035v4
• Date: Wed, 11 Nov 2020 03:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:41:50.774359
• Title: Position-based Scaled Gradient for Model Quantization and Pruning
• Title（参考訳）: モデル量子化とプルーニングのための位置ベーススケール勾配
• Authors: Jangho Kim, KiYoon Yoo, Nojun Kwak
• Abstract要約: 標準勾配勾配降下(GD)にPSGを適用することは、歪んだ重み空間におけるGDと等価であることを示す。 重みベクトルに正規化子として作用するPSGは、量子化やプルーニングなどのモデル圧縮領域に好適であることを示す。
• 参考スコア（独自算出の注目度）: 37.610105907103296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the position-based scaled gradient (PSG) that scales the gradient depending on the position of a weight vector to make it more compression-friendly. First, we theoretically show that applying PSG to the standard gradient descent (GD), which is called PSGD, is equivalent to the GD in the warped weight space, a space made by warping the original weight space via an appropriately designed invertible function. Second, we empirically show that PSG acting as a regularizer to a weight vector is favorable for model compression domains such as quantization and pruning. PSG reduces the gap between the weight distributions of a full-precision model and its compressed counterpart. This enables the versatile deployment of a model either as an uncompressed mode or as a compressed mode depending on the availability of resources. The experimental results on CIFAR-10/100 and ImageNet datasets show the effectiveness of the proposed PSG in both domains of pruning and quantization even for extremely low bits. The code is released in Github.
• Abstract（参考訳）: 本研究では,重みベクトルの位置に応じて勾配をスケールし,より圧縮しやすい位置スケールド勾配 (psg) を提案する。 まず,psgを標準勾配降下 (gd, psgd) に応用することは, 適切に設計された可逆関数によって元の重み空間を反動させることで得られる, 反動重み空間における gd と同値であることを示す。 第二に、重みベクトルに正規化子として作用するPSGが量子化やプルーニングなどのモデル圧縮領域に好適であることを示す。 PSGは、全精度モデルと圧縮されたモデルの間の重量分布のギャップを小さくする。 これにより、リソースの可用性に応じて、非圧縮モードまたは圧縮モードとしてモデルの多彩なデプロイが可能になる。 CIFAR-10/100とImageNetデータセットの実験結果から,極低ビットでもプルーニングと量子化の両領域におけるPSGの有効性が示された。 コードはgithubで公開されている。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption [57.056311855630916]
  本稿では,制御可能な生成画像圧縮フレームワークである制御-GICを提案する。 高忠実度および一般性圧縮を確保しつつ、広帯域での微粒化適応を可能にする。 我々は、歴史的符号化された多粒度表現に遡ることができる条件条件付き条件付けを開発する。
  論文  参考訳（メタデータ） (2024-06-02T14:22:09Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Approaching Rate-Distortion Limits in Neural Compression with Lattice Transform Coding [33.377272636443344]
  ニューラル圧縮設計では、ソースを潜在ベクトルに変換し、それを整数に丸め、エントロピーを符号化する。 我々は、i.d.配列に対して非常に最適であり、実際に、元のソースシーケンスのスカラー量子化を常に回復することを示した。 遅延空間におけるスカラー量子化の代わりに格子量子化を用いることにより、格子変換符号化(LTC)が様々な次元で最適なベクトル量子化を回復できることを実証する。
  論文  参考訳（メタデータ） (2024-03-12T05:09:25Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression [18.24902526033056]
  Sparse Processing (STP) を用いたVoxelized PCGのマルチスケール表現による統合ポイントクラウド幾何 (PCG) 圧縮手法を開発した。 複雑性を適用することで複雑性を著しく減少させるのは、最も確率の高いVoxels(MP-POV)を中心とした畳み込みのみを実行するためである。 提案手法は,すべてのスケールでモデル共有を行うため,ポイントワイズによる軽量な複雑性と,小さなストレージ欲求を示す。
  論文  参考訳（メタデータ） (2021-11-20T17:02:45Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。