論文の概要: Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo

• arxiv url: http://arxiv.org/abs/2605.09126v1
• Date: Sat, 09 May 2026 19:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.075146
• Title: Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo
• Title（参考訳）: Cosine-Gated Adam-Decay: Decoupled DiLoCoのためのDrop-In Staleness-Aware Outer Optimization
• Abstract要約: Cosine Gated Adam Decay (CGAD) は、Adamの第1および第2モーメントバッファに入る前に、入ってくる擬似階調を$() = () e-$でスケールする単純な年齢対応外装である。 CGADの列車は、私たちが掃除する制御された遅れを安定して通過します。
• 参考スコア（独自算出の注目度）: 4.52010848322472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asynchronous DiLoCo systems may receive pseudo-gradients computed several outer rounds earlier, yet the standard Nesterov outer optimizer does not explicitly condition its update on per-update age. This can make the outer momentum buffer brittle under large controlled delays. We propose Cosine Gated Adam Decay (CGAD), a simple, drop-in, age-aware outer optimizer that scales each incoming pseudo-gradient by $σ(τ) = γ(τ) e^{-ατ}$ before it enters Adam's first- and second-moment buffers; the exponential models information decay and the cosine gate $γ(τ)$ smoothly zeroes contributions past a chosen cutoff. CGAD reduces to plain Adam at $τ=0$, adds two hyperparameters whose defaults transfer across scales, and extends to partial-sync schedulers via a per-fragment age-aware variant (PA-CGAD). For an idealized gated-adaptive update on smooth non convex objectives, we prove a non-asymptotic convergence bound whose staleness-bias term depends on $α$ alone, rather than on the realized maximum delay $τ_{\max}$; standard analyses of asynchronous momentum-SGD instead carry a $τ_{\max}^2$ factor. Empirically, on Llama style language model pretraining at 25M, 1B, and 7B parameters, CGAD trains stably across the controlled delays we sweep. The cosine cutoff acts as scale insurance: the closest baseline, Adam Decay (CGAD without the cutoff), is competitive at 25M but its seed-to-seed $σ$ at $τ=8$ grows 27x from 25M to 7B, pushing its single-shot risk (mean + $σ$) above the chance-level loss while CGAD's stays well below. The published Nesterov recipe is the least stable method on the full sweep.
• Abstract（参考訳）: 非同期のDiLoCoシステムは、いくつかの外部ラウンドで計算された擬似漸進性を受け取ることができるが、標準のNesterovの外付けオプティマイザは、更新後の更新を明示的に規定していない。 これにより、大きな制御された遅延の下で外運動量バッファが脆くなる。 我々は、Adamの第1および第2モーメントバッファに入る前に、入ってくる擬似勾配を$σ(τ) = γ(τ) e^{-ατ}$でスケールする、単純でドロップインで年齢対応の外部オプティマイザであるCosine Gated Adam Decay (CGAD)を提案する。 CGADはプレーンなAdamに$τ=0$で還元され、デフォルトがスケール間で転送される2つのハイパーパラメータを追加し、フラグメント単位の年齢対応変種(PA-CGAD)を介して部分同期スケジューラに拡張する。 滑らかな非凸目的に対する理想的なゲート適応更新に対して、安定化バイアス項が実現された最大遅延$τ_{\max}$ではなく、$α$のみに依存する非漸近収束境界を証明し、代わりに、非同期運動量-SGDの標準解析は$τ_{\max}^2$因子を持つ。 経験的に、25M, 1B, 7Bパラメータで事前訓練したLlamaスタイルの言語モデルでは、CGADの列車は、私たちが掃除する制御された遅延を安定的に通過する。 最寄りのベースラインであるAdam Decay(CGAD)は25Mで競争力があるが、シード・ツー・シードの$σ$は$τ=8$で、25Mから7Bに27倍成長し、シングルショットのリスク(平均+$σ$)はチャンスレベルの損失よりも高く、CGADのリスクはずっと低い。 公開されたNesterovのレシピは、フルスイープで最も安定していないメソッドである。

関連論文リスト

• Fast Compute for ML Optimization [0.0]
  分散平均スケール-混合表現を含む損失に対する最適化について検討する。 その結果、SM-EM(Scale Mixture EM)アルゴリズムは、ユーザが指定した学習率と運動量スケジュールを除去する。 基底(非加速)アルゴリズムでは、EM単調性は非増加目標値を保証する。
  論文  参考訳（メタデータ） (2026-02-15T19:09:58Z)
• Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization [62.48819955422706]
  大規模偏差理論のレンズによるSGD法における長期のテール崩壊について検討する。 我々は、テールが以前よりもはるかに早く崩壊する体制を発見し、個々のランニングに対してより強力な長期保証を提供する。
  論文  参考訳（メタデータ） (2026-02-05T13:41:13Z)
• AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
  AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
  論文  参考訳（メタデータ） (2025-11-18T18:08:20Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Non-stationary Delayed Online Convex Optimization: From Full-information to Bandit Setting [71.82716109461967]
  遅延勾配が利用できる全情報ケースに対して Mild-OGD というアルゴリズムを提案する。 ミルド-OGDのダイナミックな後悔は、順番の仮定の下で$O(sqrtbardT(P_T+1))$で自動的に束縛されることを示す。 Mild-OGDのバンディット版も開発し,損失値の遅れのみを考慮に入れた,より困難なケースについて検討した。
  論文  参考訳（メタデータ） (2023-05-20T07:54:07Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)
• Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
  遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。 本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2021-06-22T15:50:45Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)
• Adaptive Distributed Stochastic Gradient Descent for Minimizing Delay in the Presence of Stragglers [31.309253646602933]
  我々は、マスターが分散勾配降下(SGD)アルゴリズムを、データのサブセットを持つそれぞれ$n$ワーカー上で実行したいという設定について検討する。 分散SGDは、遅延を引き起こす遅い作業者や非応答的な作業者など、ストラグラーの影響に悩まされることがある。 本稿では,統計的概念に基づく適応分散SGDのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-25T16:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。