論文の概要: 3PC: Three Point Compressors for Communication-Efficient Distributed
Training and a Better Theory for Lazy Aggregation
- arxiv url: http://arxiv.org/abs/2202.00998v1
- Date: Wed, 2 Feb 2022 12:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 15:17:39.360344
- Title: 3PC: Three Point Compressors for Communication-Efficient Distributed
Training and a Better Theory for Lazy Aggregation
- Title（参考訳）: 3pc:通信効率の高い分散トレーニングのための3点圧縮機と遅延集約のためのより良い理論
- Authors: Peter Richt\'arik, Igor Sokolov, Ilyas Fatkhullin, Elnur Gasanov,
Zhize Li, Eduard Gorbunov
- Abstract要約: 本稿では,コミュニケーション効率向上のための新しい勾配通信機構を提案する。
提案手法は,最近提案されたエラーフィードバック機構EF21を復元できることを示す。
遅延アグリゲーションとエラーフィードバックの文献の間には,新たな基本的リンクが提供される。
- 参考スコア（独自算出の注目度）: 12.013162443721312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose and study a new class of gradient communication mechanisms for
communication-efficient training -- three point compressors (3PC) -- as well as
efficient distributed nonconvex optimization algorithms that can take advantage
of them. Unlike most established approaches, which rely on a static compressor
choice (e.g., Top-$K$), our class allows the compressors to {\em evolve}
throughout the training process, with the aim of improving the theoretical
communication complexity and practical efficiency of the underlying methods. We
show that our general approach can recover the recently proposed
state-of-the-art error feedback mechanism EF21 (Richt\'arik et al., 2021) and
its theoretical properties as a special case, but also leads to a number of new
efficient methods. Notably, our approach allows us to improve upon the state of
the art in the algorithmic and theoretical foundations of the {\em lazy
aggregation} literature (Chen et al., 2018). As a by-product that may be of
independent interest, we provide a new and fundamental link between the lazy
aggregation and error feedback literature. A special feature of our work is
that we do not require the compressors to be unbiased.
- Abstract（参考訳）: 我々は,通信効率の良い3点圧縮機(3pc)の学習のための新しい階層型勾配通信機構と,それを利用する効率的な分散非凸最適化アルゴリズムを提案し,検討する。
静的圧縮機の選択(例えば、top-$k$)に依存するほとんどの確立されたアプローチとは異なり、我々のクラスは、基礎となる方法の理論的コミュニケーションの複雑さと実用的な効率を改善することを目的として、トレーニングプロセスを通して圧縮機を進化させます。
我々は,最近提案された誤りフィードバック機構EF21(Richt\'arik et al., 2021)とその理論的特性を特殊ケースとして回収できるが,多くの新しい手法が提案されている。
特に、我々のアプローチは、アルゴリズム的および理論的基礎である「遅延集約」文学(Chen et al., 2018)における技術の現状を改善することができる。
独立した関心を持つ副産物として、遅延集約とエラーフィードバックの文献の間に新しい基本的リンクを提供する。
私たちの研究の特長は、圧縮機を偏りなくする必要がなくなることです。
関連論文リスト
- Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。
置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。
本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
論文 参考訳（メタデータ） (2024-02-09T13:58:33Z) - Adaptive Compression for Communication-Efficient Distributed Training [3.1148846501645084]
適応圧縮レベルを持つ教師付き機械学習モデルの通信訓練のための新しいアルゴリズムを提案する。
我々のアプローチはRichtarikらの最近提案した3点圧縮機(3PC)にインスパイアされている。
3PCフレームワークを双方向圧縮に拡張する。
論文 参考訳（メタデータ） (2022-10-31T23:09:01Z) - Distributed Newton-Type Methods with Communication Compression and
Bernoulli Aggregation [11.870393751095083]
曲率情報に対する同調圧縮と集約機構について検討する。
適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。
全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
論文 参考訳（メタデータ） (2022-06-07T21:12:21Z) - EF-BV: A Unified Theory of Error Feedback and Variance Reduction
Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。
圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。
本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-09T10:44:23Z) - Distributed Methods with Compressed Communication for Solving
Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。
新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
論文 参考訳（メタデータ） (2021-10-07T10:04:32Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳（メタデータ） (2021-10-07T09:38:15Z) - Remote Multilinear Compressive Learning with Adaptive Compression [107.87219371697063]
MultiIoT Compressive Learning (MCL)は、多次元信号に対する効率的な信号取得および学習パラダイムである。
MCLモデルにそのような機能を実現するための新しい最適化手法を提案する。
論文 参考訳（メタデータ） (2021-09-02T19:24:03Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - A Better Alternative to Error Feedback for Communication-Efficient
Distributed Learning [0.0]
私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。
さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
論文 参考訳（メタデータ） (2020-06-19T11:24:41Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳（メタデータ） (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。