論文の概要: A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning

• arxiv url: http://arxiv.org/abs/2006.11077v2
• Date: Sun, 14 Mar 2021 10:27:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:57:56.822220
• Title: A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning
• Title（参考訳）: コミュニケーション効率の良い分散学習における誤りフィードバックの代替策
• Authors: Samuel Horv\'ath and Peter Richt\'arik
• Abstract要約: 私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。 さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern large-scale machine learning applications require stochastic optimization algorithms to be implemented on distributed compute systems. A key bottleneck of such systems is the communication overhead for exchanging information across the workers, such as stochastic gradients. Among the many techniques proposed to remedy this issue, one of the most successful is the framework of compressed communication with error feedback (EF). EF remains the only known technique that can deal with the error induced by contractive compressors which are not unbiased, such as Top-$K$. In this paper, we propose a new and theoretically and practically better alternative to EF for dealing with contractive compressors. In particular, we propose a construction which can transform any contractive compressor into an induced unbiased compressor. Following this transformation, existing methods able to work with unbiased compressors can be applied. We show that our approach leads to vast improvements over EF, including reduced memory requirements, better communication complexity guarantees and fewer assumptions. We further extend our results to federated learning with partial participation following an arbitrary distribution over the nodes, and demonstrate the benefits thereof. We perform several numerical experiments which validate our theoretical findings.
• Abstract（参考訳）: 現代の大規模機械学習アプリケーションは、分散コンピューティングシステムに実装するために確率最適化アルゴリズムを必要とする。 このようなシステムの重要なボトルネックは、確率勾配のような労働者間で情報を交換するための通信オーバーヘッドである。 この問題を解決するために提案された多くのテクニックの中で、最も成功したのは、エラーフィードバック(EF)による圧縮通信のフレームワークである。 EFは、Top-$K$のようなバイアスのない圧縮機によって引き起こされるエラーに対処できる唯一の方法である。 本稿では, 収縮圧縮機を扱うための新しい, 理論上, 実用上, EFの代替案を提案する。 特に,任意の収縮圧縮機を誘導非バイアス圧縮機に変換可能な構成を提案する。 この変換の後、非バイアス圧縮機で動く既存の方法を適用することができる。 我々のアプローチは、メモリ要求の削減、通信の複雑さの保証の改善、仮定の削減など、EFよりも大幅に改善されることを示します。 さらに,ノード上の任意の分布に従って,部分的参加を伴うフェデレーション学習に結果を拡張し,そのメリットを実証する。 理論的結果を検証する数値実験を数回行った。

関連論文リスト

• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• EControl: Fast Distributed Optimization with Compression and Error Control [8.624830915051021]
  フィードバック信号の強度を制御できる新しいメカニズムであるEControlを提案する。 EControlは,本手法の素直な実装を緩和し,本研究の成果を裏付けるものである。
  論文  参考訳（メタデータ） (2023-11-06T10:00:13Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation [12.013162443721312]
  本稿では,コミュニケーション効率向上のための新しい勾配通信機構を提案する。 提案手法は,最近提案されたエラーフィードバック機構EF21を復元できることを示す。 遅延アグリゲーションとエラーフィードバックの文献の間には,新たな基本的リンクが提供される。
  論文  参考訳（メタデータ） (2022-02-02T12:34:18Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence [23.849813231750932]
  本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。 イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。 数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
  論文  参考訳（メタデータ） (2021-05-14T08:15:18Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。