論文の概要: Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method

• arxiv url: http://arxiv.org/abs/2605.18174v1
• Date: Mon, 18 May 2026 10:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.390589
• Title: Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
• Title（参考訳）: Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
• Abstract要約: Muonは、ニューラルネットワークのトレーニングのためのAdamWの強力な代替手段として登場し、大規模な事前トレーニング結果の促進と、マトリックス構造化された更新が実際により高速になる証拠の増大を実現している。 しかし、Muon、より一般的にはLinearmization Oracle iteration(LMO)ベースのメソッドは、一般的に同期的に使用される。 本稿では,制約のない非最適化のための非同期LMO法であるRingmaster LMOを紹介する。 2次問題とNanoChat言語モデル事前学習の実験により、Ringmaster LMOの利点はシステムの複雑さとともに増大し、この手法が強い非同期ベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 46.028295488626746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon has recently emerged as a strong alternative to AdamW for training neural networks, with encouraging large-scale pretraining results and growing evidence that matrix-structured updates can be faster in practice. Yet Muon, and more generally Linear Minimization Oracle (LMO) based methods, are typically used synchronously. This is problematic in heterogeneous distributed systems, where workers complete gradient computations at different speeds and synchronous training must repeatedly wait for slower workers. In this work, we introduce Ringmaster LMO, an asynchronous LMO-based momentum method for unconstrained stochastic nonconvex optimization. Our method builds on the delay-thresholding idea of Ringmaster ASGD. For SGD-type methods, Ringmaster ASGD achieves optimal time complexity by discarding overly stale gradients. Ringmaster LMO extends this mechanism to general LMO-based updates. We establish convergence guarantees under generalized $(L_0, L_1)$-smoothness and further develop a parameter-agnostic variant with decreasing stepsizes and adaptive delay thresholds. Finally, we translate our iteration guarantees into time complexity bounds under heterogeneous worker computation times. In the classical Euclidean smooth setting, these bounds recover the optimal time complexity of Ringmaster ASGD. Experiments on stochastic quadratic problems and NanoChat language-model pretraining show that the advantages of Ringmaster LMO grow with system heterogeneity and that the method outperforms strong synchronous and asynchronous baselines.
• Abstract（参考訳）: Muonは最近、ニューラルネットワークのトレーニングのためのAdamWの強力な代替手段として登場し、大規模な事前トレーニング結果の奨励と、マトリックス構造化更新が実際により高速な可能性がある証拠の増大を図っている。 しかし、Muon、より一般的にはLinear Minimization Oracle(LMO)ベースのメソッドは、一般的に同期的に使用される。 これは異種分散システムにおいて問題であり、労働者が異なる速度で勾配計算を完了し、同期トレーニングが繰り返し遅い労働者を待つ必要がある。 本稿では、制約のない確率的非凸最適化のための非同期LMOベースの運動量法であるRingmaster LMOを紹介する。 提案手法は,Ringmaster ASGDの遅延保持型アイデアに基づいている。 SGD型では、Ringmaster ASGDは過度に安定な勾配を捨てることで最適な時間複雑性を実現する。 Ringmaster LMOはこのメカニズムを一般的なLMOベースのアップデートに拡張している。 我々は、一般化された$(L_0, L_1)$-smoothnessの下で収束保証を確立し、さらに段数と適応遅延閾値を減少させるパラメータに依存しない変種を開発する。 最後に、不均一なワーカ計算時間の下で、イテレーション保証を時間複雑性境界に翻訳する。 古典的ユークリッドの滑らかな設定では、これらの境界はリングマスターASGDの最適時間複雑性を回復する。 確率的二次問題とNanoChat言語モデル事前学習の実験により、Ringmaster LMOの利点はシステムの不均一性によって増大し、この手法は強い同期的および非同期的ベースラインよりも優れていることが示された。

関連論文リスト

• Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers [8.286183477962203]
  訓練の並列化は 規模を拡大するための重要な戦略です 一定のステップサイズでASGDの収束は、更新の遅延が大きいため、遅い作業者によって負の影響を受ける。 期待の収束を示し、非同期最適化において初めて、高い確率で収束を示す。
  論文  参考訳（メタデータ） (2026-06-11T12:43:53Z)
• Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays [22.743876197077785]
  非同期分散学習のための新しい手法OrLoMoを提案する。 OrLoMoでは、各ワーカーがMSGDをローカルに実行します。
  論文  参考訳（メタデータ） (2026-01-18T09:05:39Z)
• First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data [0.0]
  論文は非同期順序最適化のための厳格なフレームワークを開発する。 適切な設計により、非同期SGDは、これまで同期メソッドでのみ知られていた保証に適合する最適な時間複雑性を実現することができることを示す。
  論文  参考訳（メタデータ） (2026-01-05T19:51:09Z)
• Better LMO-based Momentum Methods with Second-Order Information [48.580700968416444]
  Hessian-Corrected Momentum (HCM) は運動量収束率の向上を目的としている。 Hessian-Corrected Momentum は問題の幾何学に適応し、従来の運動量よりも速い速度を達成することができる。 我々はHCMを統合することでLinear Minimization Oracleフレームワークを拡張し、緩和された滑らかさと任意の規範設定の下で収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-15T11:43:09Z)
• Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
  本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。 我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-26T19:19:15Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity [92.1840862558718]
  Ringmaster ASGDは任意に不均一な計算時間の下で最適な時間複雑性を達成する。 これにより、このようなシナリオにおける時間複雑性の理論的な下限を満たす最初の非同期SGD法となる。
  論文  参考訳（メタデータ） (2025-01-27T16:07:26Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。