論文の概要: Scaling Laws for Floating Point Quantization Training

• arxiv url: http://arxiv.org/abs/2501.02423v2
• Date: Tue, 13 May 2025 13:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 16:45:08.776586
• Title: Scaling Laws for Floating Point Quantization Training
• Title（参考訳）: 浮動小数点量子化訓練におけるスケーリング法則
• Authors: Xingwu Sun, Shuaipeng Li, Ruobing Xie, Weidong Han, Kan Wu, Zhen Yang, Yixing Li, An Wang, Shuai Li, Jinbao Xue, Yu Cheng, Yangyu Tao, Zhanhui Kang, Chengzhong Xu, Di Wang, Jie Jiang,
• Abstract要約: 本稿では、FP量子化目標、指数ビット、マティーサビットの影響と、LLMモデルのFP量子化訓練性能におけるスケーリング係数の計算について検討する。 ハードウェアメーカーが将来参照できるビット数に対して最適な指数-行列ビット比を提供する。
• 参考スコア（独自算出の注目度）: 47.174957621592775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision training is considered an effective strategy for reducing both training and downstream inference costs. Previous scaling laws for precision mainly focus on integer quantization, which pay less attention to the constituents in floating-point (FP) quantization, and thus cannot well fit the LLM losses in this scenario. In contrast, while FP quantization training is more commonly implemented in production, it's research has been relatively superficial. In this paper, we thoroughly explore the effects of FP quantization targets, exponent bits, mantissa bits, and the calculation granularity of the scaling factor in FP quantization training performance of LLM models. In addition to an accurate FP quantization unified scaling law, we also provide valuable suggestions for the community: (1) Exponent bits contribute slightly more to the model performance than mantissa bits. We provide the optimal exponent-mantissa bit ratio for different bit numbers, which is available for future reference by hardware manufacturers; (2) We discover the formation of the critical data size in low-precision LLM training. Too much training data exceeding the critical data size will inversely bring in degradation of LLM performance; (3) The optimal FP quantization precision is directly proportional to the computational power, but within a wide computational power range. We estimate that the best cost-performance precision should lie between 4-8 bits.
• Abstract（参考訳）: 低精度トレーニングは、トレーニングと下流推論コストの削減に有効な戦略と考えられている。 従来のスケール法則は主に整数量子化に重点を置いており、浮動小数点量子化(FP)の構成成分にはあまり注意を払わず、そのためこのシナリオではLLMの損失に十分収まらない。 対照的に、FP量子化トレーニングはプロダクションで一般的に実装されているが、その研究は比較的表面的である。 本稿では, FP量子化目標, 指数ビット, マティーサビット, および, LLMモデルのFP量子化訓練性能におけるスケーリング係数の計算粒度の影響について, 徹底的に検討する。 正確なFP量子化統合スケーリング法に加えて,(1)指数ビットはマンチサビットよりもモデル性能にわずかに寄与する。 ハードウェアメーカーが将来の参照に利用できるビット数に対して最適な指数-行列ビット比を提供する; (2)低精度LDMトレーニングにおける臨界データサイズの形成を発見する。 最適FP量子化精度は計算パワーと直接比例するが、広い計算パワー範囲内である。 コストパフォーマンスの最良の精度は4～8ビットの間にあると推定する。

関連論文リスト

• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [65.37942405146232]
  超低精度量子化により達成された,超軽量な状態要素を持つ新しいタイプのオーバーロードを提案する。 提案したSOLOは,精度の低下を最小限に抑え,メモリの大幅な節約(7Bモデルのトレーニング時に約45GB)を実現する。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference [25.6644057021512]
  量子化は、大きな言語モデル(LLM)推論効率を改善する強力なツールである。 LLM重みとアクティベーションを高精度に定量化することは、モデルの精度を劣化させることなく困難である。 ハードウェア-ソフトウェア共設計手法であるFGMP量子化法を提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:51:45Z)
• Direct Quantized Training of Language Models with Stochastic Rounding [12.028887152979046]
  本稿では,バックプロパゲーション中のストレートスルー推定器に頼ることなく,量子化低精度行列を直接更新する可能性について検討する。 LLaMA構造モデルによる実験結果から,3次値に制約された場合でも,低精度の重み付きトレーニングが実現可能であることが示唆された。 私たちのモデルは3次重みを使って推論も行えます。
  論文  参考訳（メタデータ） (2024-12-06T05:41:11Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• AlignedKV: Reducing Memory Access of KV-Cache with Precision-Aligned Quantization [5.572159724234467]
  混合精度量子化は重要なパラメータと重要でないパラメータを区別する。 既存の手法は定性的分析と手動実験によってのみ重要なパラメータを識別できる。 本稿では,パラメータの重要性を総合的に評価する定量的枠組みを構築するために,いわゆる「精度アライメント」という新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-25T01:39:02Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs [39.410068572891475]
  後トレーニング量子化(PTQ)はモデル圧縮の強力な技術であり、追加のトレーニングオーバーヘッドなしにニューラルネットワークの数値精度を低下させる。 近年,モデル推論におけるPTQの文脈における8ビット浮動小数点形式(FP8)の適用について検討している。 本稿では,モデルのメモリフットプリント,レイテンシ,エネルギーコストをさらに削減できる,精度の低い浮動小数点形状のミニフロートを提案する。
  論文  参考訳（メタデータ） (2023-11-21T05:27:16Z)
• Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing [0.9374652839580183]
  本研究では,低精度(ミニ)浮動小数点演算と量子化学習法を組み合わせる方法について検討する。 その結果,6ビット浮動小数点量子化は重みとアクティベーションの両方において単一精度と競合できることがわかった。 初期のハードウェア研究は、そのような低精度浮動小数点設計の潜在的影響も確認した。
  論文  参考訳（メタデータ） (2023-11-18T21:36:52Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。