論文の概要: Position-based Scaled Gradient for Model Quantization and Pruning
- arxiv url: http://arxiv.org/abs/2005.11035v4
- Date: Wed, 11 Nov 2020 03:43:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 08:41:50.774359
- Title: Position-based Scaled Gradient for Model Quantization and Pruning
- Title(参考訳): モデル量子化とプルーニングのための位置ベーススケール勾配
- Authors: Jangho Kim, KiYoon Yoo, Nojun Kwak
- Abstract要約: 標準勾配勾配降下(GD)にPSGを適用することは、歪んだ重み空間におけるGDと等価であることを示す。
重みベクトルに正規化子として作用するPSGは、量子化やプルーニングなどのモデル圧縮領域に好適であることを示す。
- 参考スコア(独自算出の注目度): 37.610105907103296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the position-based scaled gradient (PSG) that scales the gradient
depending on the position of a weight vector to make it more
compression-friendly. First, we theoretically show that applying PSG to the
standard gradient descent (GD), which is called PSGD, is equivalent to the GD
in the warped weight space, a space made by warping the original weight space
via an appropriately designed invertible function. Second, we empirically show
that PSG acting as a regularizer to a weight vector is favorable for model
compression domains such as quantization and pruning. PSG reduces the gap
between the weight distributions of a full-precision model and its compressed
counterpart. This enables the versatile deployment of a model either as an
uncompressed mode or as a compressed mode depending on the availability of
resources. The experimental results on CIFAR-10/100 and ImageNet datasets show
the effectiveness of the proposed PSG in both domains of pruning and
quantization even for extremely low bits. The code is released in Github.
- Abstract(参考訳): 本研究では,重みベクトルの位置に応じて勾配をスケールし,より圧縮しやすい位置スケールド勾配 (psg) を提案する。
まず,psgを標準勾配降下 (gd, psgd) に応用することは, 適切に設計された可逆関数によって元の重み空間を反動させることで得られる, 反動重み空間における gd と同値であることを示す。
第二に、重みベクトルに正規化子として作用するPSGが量子化やプルーニングなどのモデル圧縮領域に好適であることを示す。
PSGは、全精度モデルと圧縮されたモデルの間の重量分布のギャップを小さくする。
これにより、リソースの可用性に応じて、非圧縮モードまたは圧縮モードとしてモデルの多彩なデプロイが可能になる。
CIFAR-10/100とImageNetデータセットの実験結果から,極低ビットでもプルーニングと量子化の両領域におけるPSGの有効性が示された。
コードはgithubで公開されている。
関連論文リスト
- Approaching Rate-Distortion Limits in Neural Compression with Lattice
Transform Coding [33.377272636443344]
ニューラル圧縮設計では、ソースを潜在ベクトルに変換し、それを整数に丸め、エントロピーを符号化する。
我々は、i.d.配列に対して非常に最適であり、実際に、元のソースシーケンスのスカラー量子化を常に回復することを示した。
遅延空間におけるスカラー量子化の代わりに格子量子化を用いることにより、格子変換符号化(LTC)が様々な次元で最適なベクトル量子化を回復できることを実証する。
論文 参考訳(メタデータ) (2024-03-12T05:09:25Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳(メタデータ) (2023-10-30T18:43:21Z) - Transformer Compression via Subspace Projection [22.10139319682865]
TCSPは, モデルの大きさの隠蔽に着目し, 変圧器モデルを圧縮する新しい手法である。
TCSP は GLUE と SQuAD ベンチマークで T5 と BERT モデルを圧縮するために用いられる。
論文 参考訳(メタデータ) (2023-08-31T05:40:14Z) - OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。
OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。
本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
論文 参考訳(メタデータ) (2022-05-23T09:05:25Z) - Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。
提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
論文 参考訳(メタデータ) (2022-04-26T01:35:02Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳(メタデータ) (2022-03-02T15:36:44Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - Sparse Tensor-based Multiscale Representation for Point Cloud Geometry
Compression [18.24902526033056]
Sparse Processing (STP) を用いたVoxelized PCGのマルチスケール表現による統合ポイントクラウド幾何 (PCG) 圧縮手法を開発した。
複雑性を適用することで複雑性を著しく減少させるのは、最も確率の高いVoxels(MP-POV)を中心とした畳み込みのみを実行するためである。
提案手法は,すべてのスケールでモデル共有を行うため,ポイントワイズによる軽量な複雑性と,小さなストレージ欲求を示す。
論文 参考訳(メタデータ) (2021-11-20T17:02:45Z) - GAN Slimming: All-in-One GAN Compression by A Unified Optimization
Framework [94.26938614206689]
本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。
我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
論文 参考訳(メタデータ) (2020-08-25T14:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。