論文の概要: Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training

• arxiv url: http://arxiv.org/abs/2607.19058v1
• Date: Tue, 21 Jul 2026 12:47:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.42669
• Title: Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training
• Title（参考訳）: 最適化者が生きるべき場所は? メモリ効率のよいミックス・オブ・エクササイズトレーニングのための状態割当
• Abstract要約: 我々は,MoEの3つのパラメータ群が,同じ状態を受信すべきではないほど,大きさと勾配の統計量で十分異なるという観測に基づいて構築されたSkewAdamについて検討した。 SkewAdamはAdamW(126.8)、Muon(120.2)、Lion (393.7)に先駆けて108.4に到達し、ルータの負荷バランスは均一な床の1%以内に収まる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizer state is the largest single line item in the memory budget of mixture-of-experts (MoE) training: on a 6.78B-parameter MoE language model, AdamW keeps 50.6 GB of first and second moments to update 12.6 GB of bfloat16 weights. We study SkewAdam, an optimizer built on the observation that the three parameter populations of an MoE - the dense backbone, the experts, and the router - differ enough in size and gradient statistics that they should not receive the same state. SkewAdam keeps float32 momentum plus a factored second moment for the backbone (5% of parameters), a factored second moment alone for the experts (95%), and an exact second moment for the router (<0.01%). The resulting state occupies 1.29 GB, 2.6% of AdamW's, and peak training memory falls from 81.4 GB to 31.3 GB, within the budget of a 40 GB accelerator. In a controlled comparison from identical initializations over 82M tokens, SkewAdam reaches validation perplexity 108.4, ahead of AdamW (126.8), Muon (120.2), and Lion (393.7), and settles router load balance to within 1% of its uniform floor. The allocation is not what earns that perplexity: a tier ablation matches it with twenty times the state, and Adafactor, which shares the factored estimator but drops momentum, plateaus 40 points behind. The tiers buy memory at no cost to accuracy; the accuracy comes from keeping momentum, which a uniform optimizer shares too. Sweeping the baselines' learning rates narrows but does not close the gap: the best tuned AdamW reaches 118.5, tuned Adafactor 139.7. Where optimizer state lives, these results suggest, matters at least as much as how much of it there is.
• Abstract（参考訳）: 6.78BパラメータMOE言語モデルでは、AdamWは第1および第2モーメントの50.6GBを保ち、12.6GBのbfloat16重みを更新する。 我々は、MoEの3つのパラメータ(密度の高いバックボーン、専門家、ルータ)が、同じ状態を受信すべきでないほどの大きさと勾配の統計量で十分異なるという観察に基づいて構築された最適化器であるSkewAdamについて検討する。 SkewAdamはfloat32の運動量とバックボーンの第二モーメント(パラメータの5%)、専門家の第二モーメント(95%)、ルーターの第二モーメント(0.01%)を保っている。 その結果、AdamWの2.6%は1.29GB、ピークトレーニングメモリは81.4GBから31.3GBに減少し、40GBのアクセラレーターの予算で消費される。 82M以上のトークンの同一初期化と比較すると、SkewAdamはAdamW(126.8)、Muon(120.2)、Lion(393.7)に先立って108.4に達し、ルータの負荷バランスを均一なフロアの1%以内に収まる。 階層のアブレーションは20倍の州と一致し、Adafactorは因子推定器を共有するが、勢いを落とし、40ポイント遅れる。 精度は、均一なオプティマイザが共有する運動量を維持することに由来する。 ベースラインの学習率が狭くなるが、ギャップを埋めることはない。最高のチューニングされたAdamWは118.5、チューニングされたAdafactor 139.7である。 これらの結果は、オプティマイザの状態が、少なくともその量と同じくらい重要であることを示唆している。

関連論文リスト

• Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
  本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。 この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
  論文  参考訳（メタデータ） (2026-09-08T06:21:44Z)
• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• When Does Trace-Driven Evaluation Mislead MoE Expert Caching? Replay Semantics, Workload Contamination, and Operating Regimes [3.471896896439183]
  Mixture-of-Experts (MoE)モデルはアクセラレーターメモリをはるかに上回っている。 ヒット率を上げた政策は、トークン当たりの専門家のトラフィックを減らした。 我々は、数だけでなく結論を変える3つの評価軸を評価する。
  論文  参考訳（メタデータ） (2026-08-08T04:29:20Z)
• Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
  可変ビット幅量子化(VBQ)を導入する。 64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。 バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
  論文  参考訳（メタデータ） (2026-07-03T02:42:04Z)
• Slimmable ConvNeXt: Width-Adaptive Inference for Efficient Multi-Device Deployment [4.976815699476327]
  我々は、Slimmable ConvNeXtを紹介し、ConvNeXtの現代的な設計、特にLayerNormと逆ボトルネックは、チャネル幅のスリム化に特に適していることを示している。 ImageNet-1kでは、Slimmable ConvNeXt-T with 3worksは、4.5 GMACsで80.8%、1.2 GMACsで77.4%、スクラッチから600 epochsでトレーニングされた。
  論文  参考訳（メタデータ） (2026-05-21T16:20:18Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
  本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。 われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。 我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-13T15:32:41Z)
• Fantastic Pretraining Optimizers and Where to Find Them [59.56075036649332]
  AdamWは長い間、言語モデルの事前訓練において支配的な勾配だった。 行列ベースの行列の高速化はモデルスケールに逆比例する。
  論文  参考訳（メタデータ） (2025-09-02T07:43:22Z)
• Foxtsage vs. Adam: Revolution or Evolution in Optimization? [4.939986309170004]
  本研究は、ハイブリッドFOX-TSAとグラディエントDescentを統合した新しいハイブリッド最適化手法であるFoxtsageを導入し、マルチ層パーセプトロンモデルのトレーニングを行う。 実験の結果、Foxtsageは損失平均の42.03%の減少(Foxtsage: 9.508, Adam: 16.402)、損失標準偏差の42.19%の改善(Foxtsage: 20.86, Adam: 36.085)を達成した。
  論文  参考訳（メタデータ） (2024-12-20T03:20:58Z)
• APOLLO: SGD-like Memory, AdamW-level Performance [61.53444035835778]
  大規模言語モデル(LLM)は、トレーニング中にメモリ集約的であることで知られている。 メモリ使用量を減らすために、様々なメモリ効率のScalが提案されている。 i)コストのかかるSVDオペレーション、(ii)AdamWと比較して大きなパフォーマンストレードオフ、(iii)競争性能を維持する上でのメモリオーバーヘッド、などです。
  論文  参考訳（メタデータ） (2024-12-06T18:55:34Z)
• Adapprox: Adaptive Approximation in Adam Optimization via Randomized Low-Rank Matrices [24.319712013824876]
  Adapproxは、Adamの2番目の瞬間をより正確に近似するためにランダム化された低ランク行列近似を利用する新しいアプローチである。 GPT-2のトレーニングとダウンストリームタスクでは、アダポックスは34.5%から49.9%のメモリ節約を達成した。
  論文  参考訳（メタデータ） (2024-03-22T05:23:31Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。