論文の概要: Gaussian Weight Sampling for Scalable, Efficient and Stable Pseudo-Quantization Training

• arxiv url: http://arxiv.org/abs/2505.11170v1
• Date: Fri, 16 May 2025 12:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.879818
• Title: Gaussian Weight Sampling for Scalable, Efficient and Stable Pseudo-Quantization Training
• Title（参考訳）: スケーラブルで高効率で安定な擬似量子化学習のためのガウス重みサンプリング
• Authors: Myeonghwan Ahn, Sungjoo Yoo,
• Abstract要約: PQT(Pseudo-quantization Training)は、完全量子化トレーニング(FQT)の課題に対処する。 我々は,最大1Bパラメータと300Bトークンを有するGPT2およびLlama2モデルの事前学習中に,重量サンプリングを伴うPQTが(3)安定であることを示す。
• 参考スコア（独自算出の注目度）: 5.908471365011943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ever-growing scale of large language models (LLMs) is pushing for improved efficiency, favoring fully quantized training (FQT) over BF16. While FQT accelerates training, it faces consistency challenges and requires searching over an exponential number of cases, each needing over 200B tokens to ensure stability. Pseudo-quantization training (PQT) addresses the issues of FQT, although it is not well-studied. We explore the practical implications of PQT in detail and propose a noise distribution $R$ that is floating-point (FP)-friendly, with ideal properties including stochastic precision annealing. As a result, the proposed method serves as an effective theoretical foundation for low-precision FP parameters through PQT, utilizing efficient fake quantization via an addition and subsequent FP casting. We demonstrate that Gaussian weight sampling is (1) scalable: supports low-precision FP parameters down to FP6 and high-precision noise up to 9-bit with BF16 operator. The proposed method is (2) efficient: incurring computational overhead as low as 1.40\% on the A100 GPU in terms of Llama2 training tokens per second, and requiring 2 bytes per parameter in GPU memory. We demonstrate that PQT with Gaussian weight sampling is (3) stable: closely following or even surpassing performance of the BF16 baseline while pre-training GPT2 and Llama2 models with up to 1B parameters and 300B tokens.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、BF16よりも完全な量子化トレーニング(FQT)を好んで、効率の向上を推進している。 FQTはトレーニングを加速するが、一貫性の課題に直面し、指数関数的な数のケースを検索する必要がある。 PQT(Pseudo-quantization Training)は、FQTの問題に対処するが、十分に研究されていない。 本稿では,PQT の実用的意味を詳細に検討し,浮動小数点 (FP) に親しみやすい雑音分布$R$を提案する。 その結果,提案手法はPQTによる低精度FPパラメータの有効理論的基礎として機能し,付加およびその後のFPキャスティングによる効率的な擬似量子化を利用した。 FP6までの低精度FPパラメータと、BF16演算子で最大9ビットまでの高精度ノイズをサポートする。 提案手法は,A100 GPU上で1.40\%以下の計算オーバーヘッドを1秒あたりのLlama2トレーニングトークンで生成し,GPUメモリに2バイトのパラメータを必要とする。 我々は,最大1Bパラメータと300Bトークンを持つGPT2およびLlama2モデルを事前学習しながら,BF16ベースラインの性能に近づいたり、超えたりして,ガウス質量サンプリングを用いたPQTが安定であることを示した。

関連論文リスト

• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• HALO: Hadamard-Assisted Lower-Precision Optimization for LLMs [45.37278584462772]
  本稿では,トランスフォーマーのための新しい量子化学習手法HALOを提案する。 提案手法により, 前方・後方パスにおける行列乗算の精度が低くなることが保証される。 LLAMAファミリーモデルに適用すると、HALOは様々なタスクの微調整中にほぼ完全精度に等しい結果が得られる。
  論文  参考訳（メタデータ） (2025-01-05T18:41:54Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Trainable Fixed-Point Quantization for Deep Learning Acceleration on FPGAs [30.325651150798915]
  量子化は、組み込みFPGAのようなリソース制約のあるデバイスにディープラーニングモデルをデプロイするための重要な技術である。 モデルトレーニング中の二点位置を自動的に学習する,トレーニング可能な固定点量子化手法であるQFXを提案する。 QFXはPyTorchベースのライブラリとして実装され、FPGA HLSでサポートされている固定点演算を効率的にエミュレートする。
  論文  参考訳（メタデータ） (2024-01-31T02:18:27Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance [49.1574468325115]
  accumulator-aware Quantization (A2Q)は、量子化されたニューラルネットワーク(QNN)をトレーニングして、推論時のオーバーフローを回避するために設計された新しい重み量子化手法である。 A2Qは重み正規化にインスパイアされたユニークな定式化を導入し、アキュミュレータビット幅境界に従ってモデルの重みのL1ノルムを制約する。 A2Qは浮動小数点ベースラインと競合するモデルの精度を維持しつつ、低精度のアキュムレータのためのQNNを訓練できることを示す。
  論文  参考訳（メタデータ） (2023-08-25T17:28:58Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers [34.91478831993398]
  GPTQは、近似二階情報に基づく新しい一発量量子化法である。 約4GPU時間で、1750億のパラメータを持つGPTモデルを定量化できる。 提案手法は,従来提案したワンショット量子化法と比較して圧縮ゲインを2倍以上に向上させる。
  論文  参考訳（メタデータ） (2022-10-31T13:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。