論文の概要: R^2: Range Regularization for Model Compression and Quantization

• arxiv url: http://arxiv.org/abs/2303.08253v1
• Date: Tue, 14 Mar 2023 21:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 18:24:20.187029
• Title: R^2: Range Regularization for Model Compression and Quantization
• Title（参考訳）: R^2: モデル圧縮と量子化のためのレンジ正規化
• Authors: Arnav Kundu, Chungkuk Yoo, Srijan Mishra, Minsik Cho, Saurabh Adya
• Abstract要約: 本稿では,L-inf正則化,拡張マージン正則化,ソフトミンマックス正則化を導入する。 我々は、R2がMobileNetV1のようなパラメータ制約モデルに役立つことを実証し、2ビット量子化では8%、1ビット圧縮では7%の大幅な改善を実現した。
• 参考スコア（独自算出の注目度）: 6.599050496970531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model parameter regularization is a widely used technique to improve generalization, but also can be used to shape the weight distributions for various purposes. In this work, we shed light on how weight regularization can assist model quantization and compression techniques, and then propose range regularization (R^2) to further boost the quality of model optimization by focusing on the outlier prevention. By effectively regulating the minimum and maximum weight values from a distribution, we mold the overall distribution into a tight shape so that model compression and quantization techniques can better utilize their limited numeric representation powers. We introduce L-inf regularization, its extension margin regularization and a new soft-min-max regularization to be used as a regularization loss during full-precision model training. Coupled with state-of-the-art quantization and compression techniques, models trained with R^2 perform better on an average, specifically at lower bit weights with 16x compression ratio. We also demonstrate that R^2 helps parameter constrained models like MobileNetV1 achieve significant improvement of around 8% for 2 bit quantization and 7% for 1 bit compression.
• Abstract（参考訳）: モデルパラメータの正規化は一般化を改善するために広く使われる手法であるが、様々な目的のために重量分布を形作るのにも用いられる。 そこで本研究では,モデル量子化と圧縮技術に重み正規化が有効であることを示すとともに,外乱防止に着目してモデル最適化の品質をさらに向上する範囲正規化(R^2)を提案する。 分布から最小および最大重量値を効果的に制御することにより、モデル圧縮および量子化技術が制限された数値表現力を有効活用できるように、全体分布をタイトな形状に成形する。 l-inf正則化,拡張マージン正則化,および全精度モデルトレーニングにおける正則化損失として使用される新しいソフトミン正則化を導入する。 最先端の量子化と圧縮技術と組み合わせて、R^2で訓練されたモデルは平均で、特に16倍圧縮比の低ビット重みでより良く動作する。 また、R^2はMobileNetV1のようなパラメータ制約付きモデルに役立ち、2ビット量子化では8%、1ビット圧縮では7%の大幅な改善を実現している。

関連論文リスト

• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• CrAM: A Compression-Aware Minimizer [110.81596446540279]
  本稿では,SGD トレーニングの繰り返しを原則的に修正する CrAM と呼ばれる新しい圧縮対応最小化器を提案する。 標準画像分類タスクの実験結果から,CrAMは標準SGD型ベースラインよりも精度の高い高密度モデルを生成することが示された。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
  本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。 本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:05:25Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• Modulating Regularization Frequency for Efficient Compression-Aware Model Training [10.418747469011526]
  新しい正規化手法として正規化周波数(すなわち、トレーニング中に圧縮が行われる頻度)を導入する。 正規化周波数がモデル圧縮の正規化強度に重大な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-05-05T05:44:15Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。