論文の概要: Large Diffusion Models Need More Than EMA

• arxiv url: http://arxiv.org/abs/2610.22945v1
• Date: Fri, 16 Oct 2026 05:13:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.7697
• Title: Large Diffusion Models Need More Than EMA
• Title（参考訳）: 大規模な拡散モデルにはEMA以上のものが必要だ
• Abstract要約: 大規模拡散モデルは通常、一定学習率(LR)と指数移動平均(EMA)で訓練される 本研究は,EMAが拡散訓練に特に適しているか,あるいは,より強力な代替案が探索されていないかを検討する。
• 参考スコア（独自算出の注目度）: 38.28541541129485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale diffusion models are commonly trained with a constant learning rate (LR) and exponential moving average (EMA), despite the strong performance of LR decay and Schedule-Free optimization in training large language models. We study whether EMA is uniquely suited to diffusion training, or whether stronger alternatives have been underexplored. Our theory shows that averaging a constant-step trajectory has an inherent optimization limitation, whereas LR decay and Schedule-Free optimization admit vanishing stationarity guarantees under standard nonconvex assumptions. Empirically, LR decay and EMA provide complementary benefits: combining decay with EMA further improves the standard baseline at most tested starting points, although the gain remains sensitive to when decay begins. Schedule-Free avoids this timing requirement and consistently outperforms EMA with a constant LR across training stages, achieving both lower fixed-evaluation objectives and better generation quality. Our analysis further shows that all three strategies substantially reduce parameter variability, yet stronger stabilization is not always better: EMA with a constant LR retains comparatively higher parameter variability, while aggressive decay combined with EMA achieves the lowest checkpoint variability but also weakens continued optimization. Schedule-Free substantially reduces parameter variability while preserving more late-stage progress, providing a better balance between parameter stability and continued optimization. Finally, the benefits of Schedule-Free extend beyond pretraining to ReFL and generator-side DMD, demonstrating its transferability across distinct diffusion optimization settings. Overall, our results suggest that large diffusion models need more than parameter averaging alone: effective optimization requires balancing variance reduction with continued optimization.
• Abstract（参考訳）: 大規模拡散モデルは、大言語モデルの学習において、LR減衰とスケジュール自由最適化の強い性能にもかかわらず、通常、一定の学習率(LR)と指数的移動平均(EMA)で訓練される。 本研究は,EMAが拡散訓練に特に適しているか,あるいは,より強力な代替案が探索されていないかを検討する。 我々の理論は、定数ステップ軌道の平均化は本質的に最適化の限界を持つことを示しているが、一方、LR崩壊とスケジュールフリーの最適化は標準の非凸仮定の下での定常性を保証する。 実験的に、LR崩壊とEMAは相補的な利点をもたらす: EMAとEMAを組み合わせることで、ほとんどの試験された出発点において標準ベースラインをさらに改善するが、その利得は崩壊が開始する時点では敏感である。 Schedule-Freeはこのタイミング要件を回避し、トレーニング段階にわたって一定のLRでEMAを一貫して上回り、低い固定評価目標とより良い生成品質を達成する。 定数LRを持つEMAは相対的に高いパラメータ変数を持ち、EMAと組み合わせたアグレッシブ崩壊は最低チェックポイント変数を得るが、継続的な最適化を弱める。 スケジュール自由(Schedule-Free)は、より後期の進捗を保ちながらパラメータのばらつきを大幅に減らし、パラメータ安定性と継続的な最適化のバランスを良くする。 最後に、Schedule-Freeの利点はReFLとジェネレータサイドDMDへの事前トレーニングを超えて拡張され、異なる拡散最適化設定間での転送可能性を示している。 全体として,大規模な拡散モデルにはパラメータ平均化以上のものが必要であることが示唆された。

関連論文リスト

• A Journey to the Edge of Stability [53.81268610971847]
  深層学習は、最大ヘッセン固有値モデルが学習率と相反する値で安定化される「安定性の端」(EoS)でしばしば起こる。 深層学習問題を解き、深層学習率のスイープで一階最適化法を変化させる。 次に、学習軌跡の特徴量、すなわち損失、鋭さ、連続的な勾配間のアライメントを追跡する。
  論文  参考訳（メタデータ） (2026-09-26T06:28:18Z)
• Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
  ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。 しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。 本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:37:31Z)
• Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models [97.55009021098554]
  本研究の目的は、SLMのリアルタイムレイテンシの主要な決定要因を特定し、SLMの設計とトレーニングのための一般化可能な原則と方法論を提供することである。 我々はNemotron-Flashと呼ばれるハイブリッドSLMの新たなファミリーを導入し、最先端SLMの精度・効率のフロンティアを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-11-24T08:46:36Z)
• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization [16.360816770124874]
  LoRA-MGPO は Momentum-Guided Perurbation Optimization (MGPO) を組み込んだフレームワークである。 MGPOは勾配状態から運動量ベクトルを誘導する運動力学を安定化させる。 実験の結果, LoRA-MGPO は LoRA や他のPEFT 法よりも優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2025-02-20T13:14:41Z)
• Refining Adaptive Zeroth-Order Optimization at Ease [24.327161891577727]
  本稿では,Refined Adaptive Zeroth-Order Optimization (R-AdaZO)を紹介する。 まず、ZO勾配推定における第1モーメント推定の未解決分散低減効果を示す。 次に、これらの分散誘導勾配推定に基づいて第2モーメント推定を洗練し、最適化ランドスケープの幾何をより正確に把握する。
  論文  参考訳（メタデータ） (2025-02-03T03:10:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。