論文の概要: GDNSQ: Gradual Differentiable Noise Scale Quantization for Low-bit Neural Networks

• arxiv url: http://arxiv.org/abs/2508.14004v1
• Date: Tue, 19 Aug 2025 17:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:32.022146
• Title: GDNSQ: Gradual Differentiable Noise Scale Quantization for Low-bit Neural Networks
• Title（参考訳）: GDNSQ:低ビットニューラルネットワークのための連続微分可能なノイズスケール量子化
• Authors: Sergey Salishev, Ian Akhremchik,
• Abstract要約: 量子化されたニューラルネットワークはノイズの多いチャネルの連鎖と見なすことができる。 我々は、平均ビット幅が減少するにつれてキャパシティのダイナミクスを追跡し、スムーズで制約のある最適化問題として微調整をキャストすることで、結果の量子化ボトルネックを同定する。 提案手法では,学習可能なビット幅境界,ノイズスケール,クランプを備えた完全微分可能なストレートスルー推定器(STE)を用い,外点ペナルティにより目標ビット幅を強制する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Quantized neural networks can be viewed as a chain of noisy channels, where rounding in each layer reduces capacity as bit-width shrinks; the floating-point (FP) checkpoint sets the maximum input rate. We track capacity dynamics as the average bit-width decreases and identify resulting quantization bottlenecks by casting fine-tuning as a smooth, constrained optimization problem. Our approach employs a fully differentiable Straight-Through Estimator (STE) with learnable bit-width, noise scale and clamp bounds, and enforces a target bit-width via an exterior-point penalty; mild metric smoothing (via distillation) stabilizes training. Despite its simplicity, the method attains competitive accuracy down to the extreme W1A1 setting while retaining the efficiency of STE.
• Abstract（参考訳）: 量子化されたニューラルネットワークはノイズの多いチャネルの連鎖と見なすことができ、各層でのラウンドリングはビット幅の縮小に伴って容量を削減し、浮動小数点(FP)チェックポイントは最大入力率を設定する。 我々は、平均ビット幅が減少するにつれてキャパシティのダイナミクスを追跡し、スムーズで制約のある最適化問題として微調整をキャストすることで、結果の量子化ボトルネックを同定する。 提案手法では, 学習可能なビット幅, ノイズスケール, クランプ境界を備えた完全微分可能なストレートスルー推定器(STE)を用い, 外点ペナルティにより目標ビット幅を強制し, 軽度なメートル法平滑化(蒸留)によりトレーニングを安定化させる。 その単純さにもかかわらず、STEの効率を保ちながら、極端にW1A1設定まで競争精度を低下させる。

関連論文リスト

• Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling [19.052294458935595]
  マルチビット量子化ネットワークは、単一のモデル内で複数の精度レベルをサポートすることにより、ディープニューラルネットワークの柔軟な展開を可能にする。 既存のアプローチでは、サポート対象のビット幅毎にフルデータセット更新が繰り返されるため、トレーニングのオーバーヘッドが大幅に増大する。 本稿では,モデルの有用性を損なうことなく,トレーニングのオーバーヘッドを大幅に削減する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-10-23T15:49:02Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Robust ultra-shallow shadows [0.251657752676152]
  低深度計測回路の幅広いクラスに対して,ロバストなシャドウ推定プロトコルを提案する。 弱相関局所雑音に対して、測定チャネルは効率的な行列積表現を有する。 テンソルネットワークツールを用いて実験データから直接推定する方法を示す。
  論文  参考訳（メタデータ） (2024-05-09T18:00:09Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• LG-LSQ: Learned Gradient Linear Symmetric Quantization [3.6816597150770387]
  精度の低いディープニューラルネットワークは、メモリスペースとアクセルパワーのコストの観点から利点がある。 量子化アルゴリズムに関連する主な課題は、低ビット幅での精度を維持することである。 低ビット幅での重みと活性化関数の定量化手法として、学習された勾配線形量子化(LG-LSQ)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T03:38:12Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Network Quantization with Element-wise Gradient Scaling [30.06895253269116]
  ネットワーク量子化は、ウェイトおよび/またはアクティベーションのビット幅を減らすことを目的とする。 ほとんどの方法はストレートスルー推定器(ste)を使用して量子化されたネットワークを訓練する。 本稿では、STEよりも優れた量子化ネットワークをトレーニングするための要素単位勾配スケーリング(EWGS)を提案する。
  論文  参考訳（メタデータ） (2021-04-02T06:34:53Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Bayesian Bits: Unifying Quantization and Pruning [73.27732135853243]
  我々は、勾配に基づく最適化による混合精度量子化とプルーニングの実用的な方法であるBayesian Bitsを紹介する。 提案手法をいくつかのベンチマーク・データセット上で実験的に検証し,プレナード付き混合精度ネットワークを学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-14T16:00:34Z)
• WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization [8.153944203144988]
  深部量子化トレーニングのための新しい正弦波正則化SINAREQを提案する。 我々はSINAREQが計算効率と精度のバランスをとる方法を示し、多種多様な深層ネットワークの量子化のための異種ビット幅割り当てを提供する。
  論文  参考訳（メタデータ） (2020-02-29T01:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。