論文の概要: Tight analyses of first-order methods with error feedback

• arxiv url: http://arxiv.org/abs/2506.05271v1
• Date: Thu, 05 Jun 2025 17:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.850358
• Title: Tight analyses of first-order methods with error feedback
• Title（参考訳）: 誤差フィードバックをもつ一階法におけるタイト解析
• Authors: Daniel Berg Thomsen, Adrien Taylor, Aymeric Dieuleveut,
• Abstract要約: エージェント間の通信は分散学習において大きな計算ボトルネックとなることが多い。 最も一般的な緩和策の1つは、交換された情報を圧縮することである。 圧縮通信に伴う収束の劣化に対処するために, 誤りフィードバック方式を導入した。
• 参考スコア（独自算出の注目度）: 8.759583928626702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication between agents often constitutes a major computational bottleneck in distributed learning. One of the most common mitigation strategies is to compress the information exchanged, thereby reducing communication overhead. To counteract the degradation in convergence associated with compressed communication, error feedback schemes -- most notably $\mathrm{EF}$ and $\mathrm{EF}^{21}$ -- were introduced. In this work, we provide a tight analysis of both of these methods. Specifically, we find the Lyapunov function that yields the best possible convergence rate for each method -- with matching lower bounds. This principled approach yields sharp performance guarantees and enables a rigorous, apples-to-apples comparison between $\mathrm{EF}$, $\mathrm{EF}^{21}$, and compressed gradient descent. Our analysis is carried out in a simplified yet representative setting, which allows for clean theoretical insights and fair comparison of the underlying mechanisms.
• Abstract（参考訳）: エージェント間の通信は分散学習において大きな計算ボトルネックとなることが多い。 最も一般的な緩和策の1つは、交換された情報を圧縮し、通信オーバーヘッドを減らすことである。 圧縮通信に伴う収束の劣化に対処するため、エラーフィードバックスキーム(特に$\mathrm{EF}$と$\mathrm{EF}^{21}$)が導入された。 本研究では,これら2つの手法の厳密な分析を行う。 具体的には、各メソッドに対して最も可能な収束率を得るリアプノフ函数が、一致した下界を持つ。 この原理的なアプローチは、シャープな性能保証をもたらし、$\mathrm{EF}$、$\mathrm{EF}^{21}$、圧縮された勾配勾配の厳密なアプライズ比較を可能にする。 本研究は, 理論的な考察と基礎となるメカニズムの公正な比較を可能にするため, 簡易かつ代表的な設定で実施する。

関連論文リスト

• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Compressed Federated Reinforcement Learning with a Generative Model [11.074080383657453]
  強化学習は近年、前例のない人気を得たが、それでもサンプルの非効率さに悩まされている。 この課題に対処するため、フェデレーション強化学習(FedRL)が出現し、エージェントは局所的な推定を集約することで単一のポリシーを協調的に学習する。 通信効率のよいFedRL手法であるCompFedRLを提案する。
  論文  参考訳（メタデータ） (2024-03-26T15:36:47Z)
• Faster Convergence with Multiway Preferences [99.68922143784306]
  本稿では,符号関数に基づく比較フィードバックモデルについて考察し,バッチとマルチウェイの比較による収束率の解析を行う。 本研究は,マルチウェイ選好による凸最適化の問題を初めて研究し,最適収束率を解析するものである。
  論文  参考訳（メタデータ） (2023-12-19T01:52:13Z)
• Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning [9.31522898261934]
  機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。 いくつかの非バイアス圧縮演算子間の収束率の差を強調した。 我々はその結果を連合学習の事例にまで拡張する。
  論文  参考訳（メタデータ） (2023-08-02T18:02:00Z)
• Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling [64.31011847952006]
  我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。 我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。 我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
  論文  参考訳（メタデータ） (2022-06-05T21:32:33Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。