論文の概要: GDNSQ: Gradual Differentiable Noise Scale Quantization for Low-bit Neural Networks

• arxiv url: http://arxiv.org/abs/2508.14004v1
• Date: Tue, 19 Aug 2025 17:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:32.022146
• Title: GDNSQ: Gradual Differentiable Noise Scale Quantization for Low-bit Neural Networks
• Title（参考訳）: GDNSQ:低ビットニューラルネットワークのための連続微分可能なノイズスケール量子化
• Authors: Sergey Salishev, Ian Akhremchik,
• Abstract要約: 量子化されたニューラルネットワークはノイズの多いチャネルの連鎖と見なすことができる。 我々は、平均ビット幅が減少するにつれてキャパシティのダイナミクスを追跡し、スムーズで制約のある最適化問題として微調整をキャストすることで、結果の量子化ボトルネックを同定する。 提案手法では,学習可能なビット幅境界,ノイズスケール,クランプを備えた完全微分可能なストレートスルー推定器(STE)を用い,外点ペナルティにより目標ビット幅を強制する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Quantized neural networks can be viewed as a chain of noisy channels, where rounding in each layer reduces capacity as bit-width shrinks; the floating-point (FP) checkpoint sets the maximum input rate. We track capacity dynamics as the average bit-width decreases and identify resulting quantization bottlenecks by casting fine-tuning as a smooth, constrained optimization problem. Our approach employs a fully differentiable Straight-Through Estimator (STE) with learnable bit-width, noise scale and clamp bounds, and enforces a target bit-width via an exterior-point penalty; mild metric smoothing (via distillation) stabilizes training. Despite its simplicity, the method attains competitive accuracy down to the extreme W1A1 setting while retaining the efficiency of STE.
• Abstract（参考訳）: 量子化されたニューラルネットワークはノイズの多いチャネルの連鎖と見なすことができ、各層でのラウンドリングはビット幅の縮小に伴って容量を削減し、浮動小数点(FP)チェックポイントは最大入力率を設定する。 我々は、平均ビット幅が減少するにつれてキャパシティのダイナミクスを追跡し、スムーズで制約のある最適化問題として微調整をキャストすることで、結果の量子化ボトルネックを同定する。 提案手法では, 学習可能なビット幅, ノイズスケール, クランプ境界を備えた完全微分可能なストレートスルー推定器(STE)を用い, 外点ペナルティにより目標ビット幅を強制し, 軽度なメートル法平滑化(蒸留)によりトレーニングを安定化させる。 その単純さにもかかわらず、STEの効率を保ちながら、極端にW1A1設定まで競争精度を低下させる。

関連論文リスト

• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Robust ultra-shallow shadows [0.251657752676152]
  低深度計測回路の幅広いクラスに対して,ロバストなシャドウ推定プロトコルを提案する。 弱相関局所雑音に対して、測定チャネルは効率的な行列積表現を有する。 テンソルネットワークツールを用いて実験データから直接推定する方法を示す。
  論文  参考訳（メタデータ） (2024-05-09T18:00:09Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• LG-LSQ: Learned Gradient Linear Symmetric Quantization [3.6816597150770387]
  精度の低いディープニューラルネットワークは、メモリスペースとアクセルパワーのコストの観点から利点がある。 量子化アルゴリズムに関連する主な課題は、低ビット幅での精度を維持することである。 低ビット幅での重みと活性化関数の定量化手法として、学習された勾配線形量子化(LG-LSQ)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T03:38:12Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Bayesian Bits: Unifying Quantization and Pruning [73.27732135853243]
  我々は、勾配に基づく最適化による混合精度量子化とプルーニングの実用的な方法であるBayesian Bitsを紹介する。 提案手法をいくつかのベンチマーク・データセット上で実験的に検証し,プレナード付き混合精度ネットワークを学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-14T16:00:34Z)
• WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization [8.153944203144988]
  深部量子化トレーニングのための新しい正弦波正則化SINAREQを提案する。 我々はSINAREQが計算効率と精度のバランスをとる方法を示し、多種多様な深層ネットワークの量子化のための異種ビット幅割り当てを提供する。
  論文  参考訳（メタデータ） (2020-02-29T01:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。