論文の概要: Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics

• arxiv url: http://arxiv.org/abs/2505.00347v1
• Date: Thu, 01 May 2025 06:47:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.250837
• Title: Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics
• Title（参考訳）: 低ビットオプティマイザの限界を押し上げる:EMAダイナミクスに着目して
• Authors: Cong Xu, Wenbin Liang, Mo Yu, Anan Liu, Ke-Yue Zhang, Lizhuang Ma, Jianyong Wang, Jun Wang, Wei Zhang,
• Abstract要約: 超低精度量子化により達成された,超軽量な状態要素を持つ新しいタイプのオーバーロードを提案する。 提案したSOLOは,精度の低下を最小限に抑え,メモリの大幅な節約(7Bモデルのトレーニング時に約45GB)を実現する。
• 参考スコア（独自算出の注目度）: 65.37942405146232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explosion in model sizes leads to continued growth in prohibitive training/fine-tuning costs, particularly for stateful optimizers which maintain auxiliary information of even 2x the model size to achieve optimal convergence. We therefore present in this work a novel type of optimizer that carries with extremely lightweight state overloads, achieved through ultra-low-precision quantization. While previous efforts have achieved certain success with 8-bit or 4-bit quantization, our approach enables optimizers to operate at precision as low as 3 bits, or even 2 bits per state element. This is accomplished by identifying and addressing two critical challenges: the signal swamping problem in unsigned quantization that results in unchanged state dynamics, and the rapidly increased gradient variance in signed quantization that leads to incorrect descent directions. The theoretical analysis suggests a tailored logarithmic quantization for the former and a precision-specific momentum value for the latter. Consequently, the proposed SOLO achieves substantial memory savings (approximately 45 GB when training a 7B model) with minimal accuracy loss. We hope that SOLO can contribute to overcoming the bottleneck in computational resources, thereby promoting greater accessibility in fundamental research.
• Abstract（参考訳）: モデルサイズの爆発は、特に最適収束を達成するためにモデルサイズの2倍の補助情報を保持するステートフルなオプティマイザにとって、禁止的なトレーニング/ファインチューニングコストの継続的な増加につながる。 そこで本研究では,超低精度量子化により達成された,超軽量な状態負荷を伴う新しいタイプの最適化器を提案する。 これまでは8ビットや4ビットの量子化で一定の成功を収めてきたが、我々の手法では最適化器を3ビット、あるいは状態要素あたり2ビットの精度で動作させることができる。 これは、2つの重要な課題を識別し、解決することで達成される: 符号付き量子化における信号湿式問題と、不正確な降下方向につながる符号付き量子化における急激な勾配分散である。 この理論解析により、前者の対数量子化と後者の精度特異的運動量値が導かれる。 その結果,提案するSOLOは,精度の低下を最小限に抑え,メモリの大幅な節約(7Bモデルのトレーニング時に約45GB)を実現している。 我々は,SOLOが計算資源のボトルネックを克服し,基礎研究におけるアクセシビリティの向上に寄与することを期待している。

関連論文リスト

• ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization [58.84018707089315]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Oscillations Make Neural Networks Robust to Quantization [0.16385815610837165]
  量子化アウェアトレーニング(QAT)における振動は,STE(Straight-Through Estimator)によって引き起こされる望ましくない人工物であることを示す。 量子化を改善するために振動を誘導する新しい正則化法を提案する。
  論文  参考訳（メタデータ） (2025-02-01T16:39:58Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
  ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。 この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。 そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:07:02Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference [7.886868529510128]
  量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。 過剰な量子化、過度に精度を低下させると、精度が低下する。 ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
  論文  参考訳（メタデータ） (2021-02-08T19:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。