論文の概要: Open Problem: Is AdamW Effective Under Heavy-Tailed Noise?

• arxiv url: http://arxiv.org/abs/2606.23676v1
• Date: Mon, 22 Jun 2026 17:58:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 17:12:41.691942
• Title: Open Problem: Is AdamW Effective Under Heavy-Tailed Noise?
• Title（参考訳）: オープニング問題:AdamWは重音下で有効か?
• Abstract要約: AdamWは、大規模な言語モデルを訓練するデファクト理論である。 最近の研究は、ライオンやムオンのような符号に基づく勾配が急激な重み付け率を達成することを示している。 AdamWは、同じ重み付き仮定の下で収束できるのか、それとも、その第二モーメントアキュムレータが真の障害を生み出すのか?
• 参考スコア（独自算出の注目度）: 43.39716211464324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AdamW is the de facto optimizer for training large language models (LLMs), yet the theory behind it still lives mostly in finite-variance regimes. This is increasingly unsatisfying, as empirical evidence indicates that stochastic gradient noise in LLM pretraining is typically heavy-tailed. Recent work shows that sign-based optimizers such as Lion and Muon achieve sharp heavy-tailed rates, and that AdaGrad can also converge under heavy-tailed noise. However, no rigorous convergence theory for AdamW has yet been established in this regime. Can AdamW converge under the same heavy-tailed assumptions, or does its second-moment accumulator create a genuine obstruction? We formulate this as an open problem, prove a positive weighted-metric benchmark, and give a corridor lower-bound mechanism showing how denominator memory can hide large gradients.
• Abstract（参考訳）: AdamWは大規模言語モデル(LLM)を訓練するためのデファクトオプティマイザである。 LLM前訓練における確率的勾配ノイズは典型的には重く、これはますます不満足になっている。 最近の研究は、LionやMuonのような符号ベースのオプティマイザがシャープなヘビーテールレートを実現し、AdaGradもヘビーテールノイズの下で収束可能であることを示している。 しかし、AdamW に対する厳密な収束理論はまだ確立されていない。 AdamWは、同じ重み付き仮定の下で収束できるのか、それとも、その第二モーメントアキュムレータが真の障害を生み出すのか? 我々はこれをオープンな問題として定式化し、正の重み付きベンチマークを証明し、デノミネータメモリが大きな勾配を隠蔽する方法を示す廊下下界機構を与える。

関連論文リスト

• Can Muon Fine-tune Adam-Pretrained Models? [0.5735035463793009]
  ほとんどのオープンモデルはAdamで事前訓練されており、微調整のためにミュオンに鼻で切り替えると、ミスマッチによって性能が劣化する。 我々は、ミスマッチが事前訓練された知識を妨害し、この破壊が更新強度とともにスケールする証拠を提供する。 LoRAは、言語やビジョンタスク全体にわたって、完全な微調整の下で観察されるAdamとMuonのパフォーマンスギャップを減らします。
  論文  参考訳（メタデータ） (2026-05-11T12:34:20Z)
• Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise [43.39716211464324]
  最近、LionやMuonのような符号ベースの最適化アルゴリズムはAdamWよりも優れた経験的性能を示している。 本稿では,重み付き勾配雑音のレンズを通して理論と実践のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2026-02-07T07:47:14Z)
• Conda: Column-Normalized Adam for Training Large Language Models Faster [70.66067959375748]
  Column-Normalized Adam (Conda)は、大規模言語モデル(LLM)に対する新しいアプローチである。 Condaはサブスペースに更新を投影し、投影された勾配に基づいてカラムワイズ第2モーメント正規化を適用する。 LLaMAとGPT-2シリーズの実験では、コンダはトレーニング前のAdamW、Muon、その他のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-29T02:58:19Z)
• Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed [83.8485684139678]
  AdaGradやAdamのような適応的なステップサイズを持つ手法は、現代のディープラーニングモデルのトレーニングに不可欠である。 AdaGrad/Adam法はノイズが重く、高い確率収束性を有することを示す。
  論文  参考訳（メタデータ） (2024-06-06T18:49:10Z)
• On Convergence of Adam for Stochastic Optimization under Relaxed Assumptions [4.189643331553922]
  Adaptive Momentum Estimation (Adam)アルゴリズムは、様々なディープラーニングタスクにおいて非常に効果的である。 この一般的な雑音モデルの下で,Adamは高い反復率で定常点のばらつきを見いだせることを示す。
  論文  参考訳（メタデータ） (2024-02-06T13:19:26Z)
• Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be [16.170888329408353]
  大規模なバッチを持つAdamの挙動は、運動量を持つ符号降下と類似していることが示される。 我々は,SGDとAdamのパフォーマンスギャップにおいて,重み付けノイズと重み付けノイズが重要な要因ではないことを示す。
  論文  参考訳（メタデータ） (2023-04-27T05:41:13Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [71.8462682319137]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。