論文の概要: QReg: On Regularization Effects of Quantization

• arxiv url: http://arxiv.org/abs/2206.12372v2
• Date: Mon, 27 Jun 2022 02:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 10:30:23.860941
• Title: QReg: On Regularization Effects of Quantization
• Title（参考訳）: QReg: 量子化の正規化効果について
• Authors: MohammadHossein AskariHemmat, Reyhane Askari Hemmat, Alex Hoffman, Ivan Lazarevich, Ehsan Saboori, Olivier Mastropietro, Yvon Savaria, Jean-Pierre David
• Abstract要約: 重み量子化は正則化の一形態であり、正則化の量は量子化レベル(精度)と相関していることを示す。 そこで本研究では,8ビット量子化が,様々な視覚タスクやモデルにおいて,信頼性の高い正則化を実現することを提案する。
• 参考スコア（独自算出の注目度）: 2.761642742961957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we study the effects of quantization in DNN training. We hypothesize that weight quantization is a form of regularization and the amount of regularization is correlated with the quantization level (precision). We confirm our hypothesis by providing analytical study and empirical results. By modeling weight quantization as a form of additive noise to weights, we explore how this noise propagates through the network at training time. We then show that the magnitude of this noise is correlated with the level of quantization. To confirm our analytical study, we performed an extensive list of experiments summarized in this paper in which we show that the regularization effects of quantization can be seen in various vision tasks and models, over various datasets. Based on our study, we propose that 8-bit quantization provides a reliable form of regularization in different vision tasks and models.
• Abstract（参考訳）: 本稿では,DNNトレーニングにおける量子化の効果について検討する。 重み量子化は正則化の一形態であり、正則化の量は正定化レベルと相関していると仮定する(precision)。 我々は分析研究と実証結果を提供することで仮説を立証する。 重み付け雑音の一形態として重み量子化をモデル化することにより,この雑音がトレーニング時にネットワークを伝搬する方法について検討する。 このノイズの大きさは量子化のレベルと相関していることを示す。 本論文では, 様々な視覚タスクやモデルにおいて, 量子化の正規化効果が, 様々なデータセット上で見られることを示した。 本研究では,8ビット量子化が,様々な視覚タスクやモデルにおいて信頼性の高い正則化を実現することを提案する。

関連論文リスト

• When Quantization Affects Confidence of Large Language Models? [4.338589334157708]
  GPTQから4ビットへの変換は,言語モデルによって異なる影響で,真のラベルに対する信頼度を低下させることを示す。 本稿では,信頼度に基づく量子化損失の説明を行い,まず,完全モデルが信頼度が低いサンプルに対して,量子化が不均等に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-01T16:58:28Z)
• QGen: On the Ability to Generalize in Quantization Aware Training [35.0485699853394]
  量子化は、モデルの重みとアクティベーションを表すために少ないビットを利用することで、メモリ使用量、計算要求、レイテンシを低下させる。 ニューラルネットワークにおける量子化の理論モデルを開発し、正則化の形式として量子化がどのように機能するかを示す。
  論文  参考訳（メタデータ） (2024-04-17T21:52:21Z)
• Effect of Weight Quantization on Learning Models by Typical Case Analysis [6.9060054915724]
  最近のデータ分析スケールの急増は、計算リソースの要求を大幅に増加させた。 量子化は、限られた計算資源を持つデバイスに大規模なモデルをデプロイするのに不可欠である。
  論文  参考訳（メタデータ） (2024-01-30T18:58:46Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Ternary Quantization: A Survey [12.90416661059601]
  深層ニューラルネットワークモデルのデプロイには、推論時間、モデルサイズ、精度が不可欠である。 3次量子化の進化を概観し、既存の3次量子化法との関係について検討する。
  論文  参考訳（メタデータ） (2023-03-02T03:38:51Z)
• NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers [53.85087932591237]
  NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。 理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。 NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-11-29T10:02:09Z)
• Attention Round for Post-Training Quantization [0.9558392439655015]
  本稿では,アテンションラウンドと呼ばれる新しい定量化手法を提案する。 異なる量子化値にマッピングされる確率は、量子化値とwの間の距離と負に相関し、ガウス函数と崩壊する。 ResNet18 と MobileNetV2 では,本論文で提案するポストトレーニング量子化は 1,024 のトレーニングデータと 10 分しか必要としない。
  論文  参考訳（メタデータ） (2022-07-07T05:04:21Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Post-Training Quantization for Vision Transformer [85.57953732941101]
  本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。 約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
  論文  参考訳（メタデータ） (2021-06-27T06:27:22Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。