論文の概要: Asynchronous Heavy-Tailed Optimization

• arxiv url: http://arxiv.org/abs/2602.18002v1
• Date: Fri, 20 Feb 2026 05:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.23833
• Title: Asynchronous Heavy-Tailed Optimization
• Title（参考訳）: Asynchronous Heavy-Tailed Optimization
• Authors: Junfei Sun, Dixi Yao, Xuchen Gong, Tahseen Rabbani, Manzil Zaheer, Tian Li,
• Abstract要約: 本稿では,重み付き勾配雑音の存在下で,非同期更新によるストラグラー処理を行う2つの通信方式を提案する。 重み付き雑音下での収束保証は同期ノイズの速度と一致し、既存の非同期アプローチと比較して遅延耐性を向上させる。
• 参考スコア（独自算出の注目度）: 23.148100548141983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heavy-tailed stochastic gradient noise, commonly observed in transformer models, can destabilize the optimization process. Recent works mainly focus on developing and understanding approaches to address heavy-tailed noise in the centralized or distributed, synchronous setting, leaving the interactions between such noise and asynchronous optimization underexplored. In this work, we investigate two communication schemes that handle stragglers with asynchronous updates in the presence of heavy-tailed gradient noise. We propose and theoretically analyze algorithmic modifications based on delay-aware learning rate scheduling and delay compensation to enhance the performance of asynchronous algorithms. Our convergence guarantees under heavy-tailed noise match the rate of the synchronous counterparts and improve delay tolerance compared with existing asynchronous approaches. Empirically, our approaches outperform prior synchronous and asynchronous methods in terms of accuracy/runtime trade-offs and are more robust to hyperparameters in both image and language tasks.
• Abstract（参考訳）: 変圧器モデルでよく見られる重み付き確率勾配雑音は、最適化過程を不安定にすることができる。 最近の研究は、集中的あるいは分散的な同期設定における重み付きノイズに対処するアプローチの開発と理解に重点を置いており、そのようなノイズと非同期最適化の相互作用は過小評価されている。 本研究では,重み付き勾配雑音の存在下で,非同期更新によるトラグラー処理を行う2つの通信方式について検討する。 非同期アルゴリズムの性能を高めるために,遅延認識学習率スケジューリングと遅延補償に基づくアルゴリズム修正を提案し,理論的に解析する。 重み付き雑音下での収束保証は同期ノイズの速度と一致し、既存の非同期アプローチと比較して遅延耐性を向上させる。 経験的に、我々のアプローチは、精度/ランタイムトレードオフの観点から、事前同期および非同期メソッドよりも優れており、画像タスクと言語タスクの両方において、ハイパーパラメータに対してより堅牢である。

関連論文リスト

• Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods [59.72933231179977]
  我々はsynchronous SGDとその頑健な変種である$m$-Synchronous SGDを再検討し、多くの異種計算シナリオにおいてほぼ最適であることを示す。 同期メソッドは普遍的な解ではなく、非同期メソッドが必要なタスクが存在するが、現代の不均一な計算シナリオの多くに十分であることを示す。
  論文  参考訳（メタデータ） (2026-02-03T18:02:14Z)
• AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
  両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。 スパース平均化と非同期更新の両方に対して収束保証を提供します。 大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
  論文  参考訳（メタデータ） (2026-01-30T01:24:47Z)
• Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
  本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。 我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-26T19:19:15Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling [81.37449968164692]
  ビデオ全体にわたってデノイングパスを同期する新しい推論フレームワークであるシンクロナイズド結合サンプリング(SynCoS)を提案する。 提案手法は, シームレスな局所遷移を保証し, グローバルコヒーレンスを強制する2つの相補的なサンプリング戦略を組み合わせる。 大規模な実験により、SynCoSは、よりスムーズな遷移とより優れた長距離コヒーレンスを実現し、マルチイベント長ビデオ生成を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-03-11T16:43:45Z)
• Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
  本稿では,2つの分散アルゴリズム, Prox-DGD と DGD-ATC の非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。 代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
  論文  参考訳（メタデータ） (2023-12-11T16:33:38Z)
• Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees [10.984101749941471]
  並列および分散最適化アルゴリズムの解析に現れる非同期反復に対する新しい収束結果を紹介する。 結果は簡単に適用でき、非同期の度合いが反復の収束率にどのように影響するかを明確に見積もることができる。
  論文  参考訳（メタデータ） (2021-09-09T19:08:56Z)
• Decentralized Optimization with Heterogeneous Delays: a Continuous-Time Approach [6.187780920448871]
  非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。 我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
  論文  参考訳（メタデータ） (2021-06-07T13:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。