論文の概要: Error Feedback Reloaded: From Quadratic to Arithmetic Mean of Smoothness Constants

• arxiv url: http://arxiv.org/abs/2402.10774v1
• Date: Fri, 16 Feb 2024 15:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 15:28:41.676061
• Title: Error Feedback Reloaded: From Quadratic to Arithmetic Mean of Smoothness Constants
• Title（参考訳）: 誤差フィードバックのリロード:滑らか度定数の擬似から算術的平均へ
• Authors: Peter Richt\'arik, Elnur Gasanov, Konstantin Burlachenko
• Abstract要約: EF21(Richtarik et al., 2021)と呼ばれる現代のエラーフィードバックの形式を研究する。 特に、EF21の理論的通信複雑性は、ある滑らか度パラメータの2次平均に依存するが、計算平均へのこの依存を改善する。 我々は、クローンなしで(幸いにも)実行できるEF21の新しい重み付きバージョンの発見を継続し、最終的に元のEF21法を改良した解析に循環する。
• 参考スコア（独自算出の注目度）: 4.2177789094825515
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Error Feedback (EF) is a highly popular and immensely effective mechanism for fixing convergence issues which arise in distributed training methods (such as distributed GD or SGD) when these are enhanced with greedy communication compression techniques such as TopK. While EF was proposed almost a decade ago (Seide et al., 2014), and despite concentrated effort by the community to advance the theoretical understanding of this mechanism, there is still a lot to explore. In this work we study a modern form of error feedback called EF21 (Richtarik et al., 2021) which offers the currently best-known theoretical guarantees, under the weakest assumptions, and also works well in practice. In particular, while the theoretical communication complexity of EF21 depends on the quadratic mean of certain smoothness parameters, we improve this dependence to their arithmetic mean, which is always smaller, and can be substantially smaller, especially in heterogeneous data regimes. We take the reader on a journey of our discovery process. Starting with the idea of applying EF21 to an equivalent reformulation of the underlying problem which (unfortunately) requires (often impractical) machine cloning, we continue to the discovery of a new weighted version of EF21 which can (fortunately) be executed without any cloning, and finally circle back to an improved analysis of the original EF21 method. While this development applies to the simplest form of EF21, our approach naturally extends to more elaborate variants involving stochastic gradients and partial participation. Further, our technique improves the best-known theory of EF21 in the rare features regime (Richtarik et al., 2023). Finally, we validate our theoretical findings with suitable experiments.
• Abstract（参考訳）: EF(Error Feedback)は、分散トレーニング手法(分散GDやSGDなど)で発生する収束問題をTopKのような強欲な通信圧縮技術で強化する手法として、非常に人気があり、非常に効果的なメカニズムである。 efは10年近く前に提案されたものだが(seide et al., 2014)、このメカニズムの理論的理解を進めるためにコミュニティが集中的に努力しているにも関わらず、まだ多くの調査が必要である。 本研究では,現在最もよく知られている理論上の保証を提供するef21(richtarik et al., 2021)と呼ばれる,最も弱い仮定の下で,かつ実際に機能する近代的なエラーフィードバックの研究を行う。 特に、ef21の理論的な通信複雑性は、ある滑らかさパラメータの二次平均に依存するが、この依存度は、常に小さく、特に不均一なデータレジームにおいて、実質的に小さい算術平均に改善される。 私たちは読者を発見プロセスの旅に連れて行く。 EF21を(不運にも)機械クローンを必要とする根本問題の等価な再構成に適用するというアイデアから始め、クローンなしで(幸いにも)実行可能なEF21の新しい重み付きバージョンの発見を継続し、最終的に元のEF21法の改良分析に循環する。 この開発はEF21の最も単純な形式に適用されるが、我々のアプローチは確率勾配や部分的参加を含むより精巧なバリエーションにまで自然に拡張される。 さらに,本手法は稀な特徴体系(richtarik et al., 2023)におけるef21の最もよく知られた理論を改良する。 最後に,理論的な知見を適切な実験で検証する。

関連論文リスト

• Momentum Provably Improves Error Feedback! [54.93799845077906]
  未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。 EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
  論文  参考訳（メタデータ） (2023-05-24T13:52:02Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization [40.94431121318241]
  線形分類問題において, 不変リスク最小化アルゴリズム (IB-IRM) は不変特徴を学習するのに十分でないことを示す。 我々は,その不変性を良好に回復する,textitCounterfactual Supervision-based Information Bottleneck (CSIB) 学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-16T15:26:00Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• EF21 with Bells & Whistles: Practical Algorithmic Extensions of Modern Error Feedback [11.899559337707112]
  既存の誤差フィードバック理論(EF)は、非常に強い仮定に依存し、悲観的な収束率を提供する。 Richtarik et al. (2021) は、収縮近似によって誘導される圧縮機の構築に基づいて、新しいエラーフィードバック機構 EF21 を提案した。 本稿では、強収束理論によって支えられるEF21の6つの実践的拡張を提案する。
  論文  参考訳（メタデータ） (2021-10-07T09:29:14Z)
• EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback [0.0]
  エラーフィードバック(EF)は、教師付き機械学習の分散トレーニングの文脈において、非常に一般的な安定化メカニズムである。 我々はEF21と呼ばれる新しいEFメカニズムを提案し,解析する。 特に、EF21が滑らかな非収束問題に対する高速なO(1/T)$収束率を享受していることを証明する。
  論文  参考訳（メタデータ） (2021-06-09T16:45:53Z)
• A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning [0.0]
  私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。 さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-06-19T11:24:41Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。