論文の概要: Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models
- arxiv url: http://arxiv.org/abs/2508.06974v1
- Date: Sat, 09 Aug 2025 13:00:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.636973
- Title: Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models
- Title（参考訳）: 事前学習された大規模言語モデルを活用した1ビット最適化の再考
- Authors: Zhijun Tu, Hanting Chen, Siqi Liu, Chuanjian Liu, Jian Li, Jie Hu, Yunhe Wang,
- Abstract要約: 1ビットLLM量子化は、ストレージと計算コストの削減に大きな利点をもたらす。
既存の方法は1ビットのLLMをスクラッチから訓練し、事前訓練されたモデルを完全に活用できなかった。
我々は,浮動小数点重みを二項化にスムーズに変換し,前方および後方の両方に一貫した漸進的トレーニングを導入する。
- 参考スコア（独自算出の注目度）: 32.16681909538446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 1-bit LLM quantization offers significant advantages in reducing storage and computational costs. However, existing methods typically train 1-bit LLMs from scratch, failing to fully leverage pre-trained models. This results in high training costs and notable accuracy degradation. We identify that the large gap between full precision and 1-bit representations makes direct adaptation difficult. In this paper, we introduce a consistent progressive training for both forward and backward, smoothly converting the floating-point weights into the binarized ones. Additionally, we incorporate binary-aware initialization and dual-scaling compensation to reduce the difficulty of progressive training and improve the performance. Experimental results on LLMs of various sizes demonstrate that our method outperforms existing approaches. Our results show that high-performance 1-bit LLMs can be achieved using pre-trained models, eliminating the need for expensive training from scratch.
- Abstract（参考訳）: 1ビットLLM量子化は、ストレージと計算コストの削減に大きな利点をもたらす。
しかし、既存の方法は1ビットのLSMをスクラッチから訓練し、事前訓練されたモデルを完全に活用できなかった。
これにより、トレーニングコストが高く、精度が著しく低下する。
完全精度と1ビット表現の間の大きなギャップが直接適応を困難にする。
本稿では,浮動小数点重みを二項化にスムーズに変換し,前方・後方両方の一貫したプログレッシブトレーニングを導入する。
さらに,2値対応初期化と2値スケーリング補償を導入し,進行訓練の難しさを低減し,性能の向上を図る。
様々な大きさのLLM実験の結果,本手法が既存手法より優れていることが示された。
以上の結果から, 事前学習モデルを用いて高性能1ビットLLMを実現することができ, 高価なトレーニングをゼロから行う必要がなくなることが示唆された。
関連論文リスト
- Outlier-Safe Pre-Training for Robust 4-Bit Quantization of Large Language Models [15.218318229687242]
大規模言語モデルにおける極端なアクティベーションアウトレイアは量子化性能を著しく低下させる。
生成を積極的に防止する実用的なガイドラインであるOutlier-Safe Pre-Training (OSP)を紹介した。
我々の研究は、アウトリーチはLLMに固有のものではなく、トレーニング戦略の結果であることを示した。
論文 参考訳（メタデータ） (2025-06-24T15:03:57Z) - Predictable Scale: Part II, Farseer: A Refined Scaling Law in Large Language Models [62.3458061002951]
本稿では,新たなスケール法であるFarseerを紹介した。
モデル損失曲面 $L(N,D)$ を体系的に構築することにより、Farseer は以前の法則よりも経験的データに非常によく適合する。
我々の手法は正確で頑健で、非常に一般化可能な予測をもたらし、優れた外挿能力を示す。
論文 参考訳（メタデータ） (2025-06-12T17:59:23Z) - Highly Efficient and Effective LLMs with Multi-Boolean Architectures [1.4195677954898822]
大型言語モデル(LLM)の複雑さを劇的に減らすための有望な戦略として、重み二項化が登場した。
本稿では,LLMをマルチカーネルブールパラメータに効果的に変換する新しいフレームワークを提案する。
提案手法は,近年の超低ビット量子化法とバイナライゼーション法より優れている。
論文 参考訳（メタデータ） (2025-05-28T19:40:34Z) - S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。
以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文 参考訳（メタデータ） (2025-02-18T13:40:22Z) - HALO: Hadamard-Assisted Lower-Precision Optimization for LLMs [45.37278584462772]
本稿では,トランスフォーマーのための新しい量子化学習手法HALOを提案する。
提案手法により, 前方・後方パスにおける行列乗算の精度が低くなることが保証される。
LLAMAファミリーモデルに適用すると、HALOは様々なタスクの微調整中にほぼ完全精度に等しい結果が得られる。
論文 参考訳（メタデータ） (2025-01-05T18:41:54Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。
LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
論文 参考訳（メタデータ） (2024-02-06T09:26:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。