論文の概要: Metis: Training Large Language Models with Advanced Low-Bit Quantization

• arxiv url: http://arxiv.org/abs/2509.00404v1
• Date: Sat, 30 Aug 2025 08:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.219937
• Title: Metis: Training Large Language Models with Advanced Low-Bit Quantization
• Title（参考訳）: Metis: 高度な低ビット量子化による大規模言語モデルのトレーニング
• Authors: Hengjie Cao, Mengyi Chen, Yifeng Yang, Ruijun Huang, Fang Dong, Jixian Zhou, Anrui Chen, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Yuan Cheng, Fan Wu, Fan Yang, Tun Lu, Ning Gu, Li Shang,
• Abstract要約: いくつかの支配的な特異値は、ブロックワイド量子化の固有のバイアスと矛盾する広い数値範囲を創出する。 この研究は、スペクトル分解とランダム埋め込みを組み合わせたトレーニングフレームワークであるMetisを導入し、長尾成分から支配的な成分を効率的に解離させる。 Metisでは、FP8トレーニングはFP32ベースラインを超え、FP4トレーニング精度はFP32に匹敵する。
• 参考スコア（独自算出の注目度）: 28.596611044555306
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This work identifies anisotropic parameter distributions as a fundamental barrier to training large language models (LLMs) with low-bit quantization: a few dominant singular values create wide numerical ranges that conflict with the inherent bias of block-wise quantization. This bias disproportionately preserves high-magnitude values while discarding smaller ones, causing training instability and low model performance. This work introduces Metis, a training framework that combines (i) spectral decomposition with random embedding to efficiently disentangle dominant from long-tail components, compressing broad distributions into quantization-friendly narrow ranges; (ii) adaptive learning rates in the spectral domain to amplify underrepresented directions and better capture diverse features critical for performance; and (iii) a dual-range regularizer that jointly constrains numerical precision and parameter range distribution, ensuring stable, unbiased low-bit training. With Metis, FP8 training surpasses FP32 baselines, and FP4 training achieves accuracy comparable to FP32, paving the way for robust and scalable LLM training under advanced low-bit quantization. The code implementation for Metis is available at: https://github.com/typename-yyf/Metis-quantization.
• Abstract（参考訳）: この研究は、大きな言語モデル(LLM)を低ビット量子化で訓練するための基本的な障壁として異方性パラメータ分布を同定する。 このバイアスは、より小さなものを捨てながら高次値を保持し、トレーニングの不安定性と低モデル性能を引き起こす。 この研究は、Metisというトレーニングフレームワークを紹介します。 一 ランダム埋め込みによるスペクトル分解により、長い尾成分から支配的な成分を効率よく分解し、広い分布を量子化に優しい狭範囲に圧縮すること。 二 スペクトル領域における適応学習率により、未表現の方向を増幅し、性能に重要な多様な特徴をよりよく捉えること。 三 数値精度とパラメータ範囲分布を連立に制約し、安定で偏りのない低ビットトレーニングを確保する二値域正規化器。 Metisでは、FP8トレーニングはFP32ベースラインを超え、FP4トレーニングはFP32に匹敵する精度を実現し、高度な低ビット量子化の下で堅牢でスケーラブルなLCMトレーニングを実現する。 Metisのコード実装は、https://github.com/typename-yyf/Metis-quantizationで利用可能である。

関連論文リスト

• Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
  実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
  論文  参考訳（メタデータ） (2025-02-17T05:33:11Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices [17.56259695496955]
  本稿では,資源不均一なFLシステムに混合精度量子化を導入する新しいFLアルゴリズムであるFedMPQを提案する。 具体的には、ビット幅制約を満たすために量子化された局所モデルは、目的関数を最適化することによって訓練される。 ローカルトレーニングの次のラウンドを初期化するために、サーバは、異なるクライアントに配信されるモデルのビット幅割り当てをカスタマイズするために、前回のトレーニングラウンドで学んだ情報に依存する。
  論文  参考訳（メタデータ） (2023-11-29T22:43:40Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。