論文の概要: Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity

• arxiv url: http://arxiv.org/abs/2402.06412v1
• Date: Fri, 9 Feb 2024 13:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 16:38:00.169357
• Title: Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
• Title（参考訳）: 関数類似性を考慮した非凸分散最適化のための最悪の双方向通信複雑性の改善
• Authors: Kaja Gruntkowska, Alexander Tyurin, Peter Richt\'arik
• Abstract要約: ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
• 参考スコア（独自算出の注目度）: 52.138754950594375
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Effective communication between the server and workers plays a key role in distributed optimization. In this paper, we focus on optimizing the server-to-worker communication, uncovering inefficiencies in prevalent downlink compression approaches. Considering first the pure setup where the uplink communication costs are negligible, we introduce MARINA-P, a novel method for downlink compression, employing a collection of correlated compressors. Theoretical analyses demonstrates that MARINA-P with permutation compressors can achieve a server-to-worker communication complexity improving with the number of workers, thus being provably superior to existing algorithms. We further show that MARINA-P can serve as a starting point for extensions such as methods supporting bidirectional compression. We introduce M3, a method combining MARINA-P with uplink compression and a momentum step, achieving bidirectional compression with provable improvements in total communication complexity as the number of workers increases. Theoretical findings align closely with empirical experiments, underscoring the efficiency of the proposed algorithms.
• Abstract（参考訳）: サーバとワーカー間の効果的なコミュニケーションは、分散最適化において重要な役割を果たす。 本稿では,サーバ間通信の最適化に着目し,ダウンリンク圧縮手法における非効率性を明らかにする。 まず、アップリンク通信コストが無視できる純粋な設定を考えると、相関圧縮器の集合を用いた、ダウンリンク圧縮の新しい方法であるmarina-pを紹介する。 理論的解析により、置換圧縮機を用いたMARINA-Pは、作業者の数に応じてサーバ間通信の複雑さを向上し、既存のアルゴリズムよりも確実に優れていることが示された。 さらに,MARINA-Pは双方向圧縮をサポートするメソッドなどの拡張の出発点として機能することを示す。 本稿では,マリナ-pとアップリンク圧縮とモーメントステップを組み合わせた手法であるm3を紹介し,作業者の数の増加に伴って通信の複雑さが向上し,双方向圧縮を実現する。 理論的発見は経験的な実験と密接に一致し、提案アルゴリズムの効率を裏付ける。

関連論文リスト

• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [31.107056382542417]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation [12.013162443721312]
  本稿では,コミュニケーション効率向上のための新しい勾配通信機構を提案する。 提案手法は,最近提案されたエラーフィードバック機構EF21を復元できることを示す。 遅延アグリゲーションとエラーフィードバックの文献の間には,新たな基本的リンクが提供される。
  論文  参考訳（メタデータ） (2022-02-02T12:34:18Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Decentralized Composite Optimization with Compression [36.75785129001134]
  非滑らかなコンポーネントを用いた分散合成最適化問題について検討する。 圧縮を伴う収束アンダーライン分散アルゴリズム Prox-LEAD を提案する。 我々の定理は、Prox-LEADが任意の圧縮精度で動作することを示している。
  論文  参考訳（メタデータ） (2021-08-10T04:54:52Z)
• Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence [23.849813231750932]
  本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。 イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。 数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
  論文  参考訳（メタデータ） (2021-05-14T08:15:18Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。