論文の概要: Metis: Training Large Language Models with Advanced Low-Bit Quantization

• arxiv url: http://arxiv.org/abs/2509.00404v1
• Date: Sat, 30 Aug 2025 08:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.219937
• Title: Metis: Training Large Language Models with Advanced Low-Bit Quantization
• Title（参考訳）: Metis: 高度な低ビット量子化による大規模言語モデルのトレーニング
• Abstract要約: いくつかの支配的な特異値は、ブロックワイド量子化の固有のバイアスと矛盾する広い数値範囲を創出する。 この研究は、スペクトル分解とランダム埋め込みを組み合わせたトレーニングフレームワークであるMetisを導入し、長尾成分から支配的な成分を効率的に解離させる。 Metisでは、FP8トレーニングはFP32ベースラインを超え、FP4トレーニング精度はFP32に匹敵する。
• 参考スコア（独自算出の注目度）: 28.596611044555306
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This work identifies anisotropic parameter distributions as a fundamental barrier to training large language models (LLMs) with low-bit quantization: a few dominant singular values create wide numerical ranges that conflict with the inherent bias of block-wise quantization. This bias disproportionately preserves high-magnitude values while discarding smaller ones, causing training instability and low model performance. This work introduces Metis, a training framework that combines (i) spectral decomposition with random embedding to efficiently disentangle dominant from long-tail components, compressing broad distributions into quantization-friendly narrow ranges; (ii) adaptive learning rates in the spectral domain to amplify underrepresented directions and better capture diverse features critical for performance; and (iii) a dual-range regularizer that jointly constrains numerical precision and parameter range distribution, ensuring stable, unbiased low-bit training. With Metis, FP8 training surpasses FP32 baselines, and FP4 training achieves accuracy comparable to FP32, paving the way for robust and scalable LLM training under advanced low-bit quantization. The code implementation for Metis is available at: https://github.com/typename-yyf/Metis-quantization.
• Abstract（参考訳）: この研究は、大きな言語モデル(LLM)を低ビット量子化で訓練するための基本的な障壁として異方性パラメータ分布を同定する。 このバイアスは、より小さなものを捨てながら高次値を保持し、トレーニングの不安定性と低モデル性能を引き起こす。 この研究は、Metisというトレーニングフレームワークを紹介します。 一 ランダム埋め込みによるスペクトル分解により、長い尾成分から支配的な成分を効率よく分解し、広い分布を量子化に優しい狭範囲に圧縮すること。 二 スペクトル領域における適応学習率により、未表現の方向を増幅し、性能に重要な多様な特徴をよりよく捉えること。 三 数値精度とパラメータ範囲分布を連立に制約し、安定で偏りのない低ビットトレーニングを確保する二値域正規化器。 Metisでは、FP8トレーニングはFP32ベースラインを超え、FP4トレーニングはFP32に匹敵する精度を実現し、高度な低ビット量子化の下で堅牢でスケーラブルなLCMトレーニングを実現する。 Metisのコード実装は、https://github.com/typename-yyf/Metis-quantizationで利用可能である。

関連論文リスト

• SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity [57.84199526590779]
  フェデレートラーニング(FL)は、非ID分散(非IID)データがクライアントのドリフトを誘導し、グローバルな収束を阻害する統計的不均一性によって根本的に挑戦される。 本研究では,新しい周波数領域の観点からクライアントのドリフトを再考し,Drift のスペクトルバイアスを明らかにする。 そこで本研究では,低周波信号の不一致を抑えることで不均一性を解消するスペクトルフィルタリンググラディエント・フレームワークであるSpecGradFilterを提案する。
  論文  参考訳（メタデータ） (2026-07-05T09:23:35Z)
• MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization [27.433770037419624]
  大規模言語モデル(LLM)のための統一的な4ビット量子化パラダイムを提案する。 MosaicQuantは、全重量行列を高密度な4ビット基底成分に量子化し、不純物は忠実に捕獲され、不純物は必然的に定量化される。 LLaMA3とQwen3の実験では、MosaicQuantはFP16に近い精度を維持し、W16A16ベースライン上で最大1.24タイムのスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-14T07:43:43Z)
• ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
  NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。 特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
  論文  参考訳（メタデータ） (2026-05-30T08:26:16Z)
• Decomposing MXFP4 quantization error for LLM reinforcement learning: reducible bias, recoverable deadzone, and an irreducible floor [2.5291809836356998]
  既存の作業では、量子化誤差をモノリシックノイズ項として扱う。 量子化誤差を正確に3方向分解する。 それぞれのコンポーネントがRLトレーニング経路をいかに支配するかを示す。
  論文  参考訳（メタデータ） (2026-05-19T18:59:26Z)
• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training [24.539689177262193]
  自然言語で訓練された大規模な言語モデルは、明らかに異方性を示す。 低ビットトレーニングでは、この幾何学は数値的に不安定になる。 この不安定性は、主にコヒーレントなランクワン平均バイアスによって引き起こされることを示す。
  論文  参考訳（メタデータ） (2026-03-11T05:59:12Z)
• Dissecting Outlier Dynamics in LLM NVFP4 Pretraining [46.10969678564592]
  本研究は,NVFP4プレトレーニング中におけるアーキテクチャ内外層力学の経時的解析を行う。 我々は、Softmax Attention (SA) と比較して、Linear Attention (LA) はテンソルあたりの重みを減少させるが、ブロック量子化の下ではブロックレベルのスパイクが持続することを示した。 次に,NVFP4のトレーニングレシピであるCHONを開発し,QK後の操作保護と統合した。
  論文  参考訳（メタデータ） (2026-02-02T12:50:27Z)
• On the Spectral Flattening of Quantized Embeddings [25.64641307046705]
  超低精度での大規模言語モデルの訓練は、離散量子化制約と言語データの本質的な重み付きスペクトル特性の相違に根ざした不安定性によって、決定的に阻害される。 この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。
  論文  参考訳（メタデータ） (2026-02-01T02:21:53Z)
• Spectral Bias Mitigation via xLSTM-PINN: Memory-Gated Representation Refinement for Physics-Informed Learning [6.546212906401042]
  我々は、スペクトルバイアスを抑制し、外挿を強化するために、表現レベルのスペクトルリモデリングxLSTM-PINNを導入する。 4つのベンチマークで、ゲート型クロススケールメモリ、ステージ付き周波数カリキュラム、適応型残差再重み付けを統合した。 ベースラインPINNと比較して、MSE、RMSE、MAE、MaxAEを4つのベンチマークで削減し、よりクリーンな境界遷移を提供する。
  論文  参考訳（メタデータ） (2025-11-16T08:55:27Z)
• SpecQuant: Spectral Decomposition and Adaptive Truncation for Ultra-Low-Bit LLMs Quantization [18.039420989848484]
  SpecQuantはアクティベーションアウトレーヤとチャネル間の分散に対処する2段階のフレームワークである。 LLaMA-3 8Bでは、SpecQuantはウェイトとアクティベーションの両方で4ビットの量子化を実現し、ゼロショット精度のギャップは全精度に比べてわずか1.5%に縮小した。
  論文  参考訳（メタデータ） (2025-11-11T11:02:13Z)
• AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization [7.413057271242686]
  量子化、特に浮動小数点量子化は、大きな言語モデル(LLM)推論を高速化できることが知られている。 整数ビット幅から非整数ビット幅への浮動小数点量子化探索を探索するAMS-Quantを提案する。 AMS-Quant はモデルを FP-5.33-e2m3 と FP4.25-e2m2 に量子化し、FP16 の推論よりもデコードを大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2025-10-16T15:37:23Z)
• Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
  実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
  論文  参考訳（メタデータ） (2025-02-17T05:33:11Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices [17.56259695496955]
  本稿では,資源不均一なFLシステムに混合精度量子化を導入する新しいFLアルゴリズムであるFedMPQを提案する。 具体的には、ビット幅制約を満たすために量子化された局所モデルは、目的関数を最適化することによって訓練される。 ローカルトレーニングの次のラウンドを初期化するために、サーバは、異なるクライアントに配信されるモデルのビット幅割り当てをカスタマイズするために、前回のトレーニングラウンドで学んだ情報に依存する。
  論文  参考訳（メタデータ） (2023-11-29T22:43:40Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。