論文の概要: Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation

• arxiv url: http://arxiv.org/abs/2206.03588v1
• Date: Tue, 7 Jun 2022 21:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 14:35:14.793466
• Title: Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation
• Title（参考訳）: 通信圧縮とベルヌーイアグリゲーションを用いた分散ニュートン型手法
• Authors: Rustem Islamov and Xun Qian and Slavom\'ir Hanzely and Mher Safaryan and Peter Richt\'arik
• Abstract要約: 曲率情報に対する同調圧縮と集約機構について検討する。 適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。 全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
• 参考スコア（独自算出の注目度）: 11.870393751095083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their high computation and communication costs, Newton-type methods remain an appealing option for distributed training due to their robustness against ill-conditioned convex problems. In this work, we study ommunication compression and aggregation mechanisms for curvature information in order to reduce these costs while preserving theoretically superior local convergence guarantees. We prove that the recently developed class of three point compressors (3PC) of Richtarik et al. [2022] for gradient communication can be generalized to Hessian communication as well. This result opens up a wide variety of communication strategies, such as contractive compression} and lazy aggregation, available to our disposal to compress prohibitively costly curvature information. Moreover, we discovered several new 3PC mechanisms, such as adaptive thresholding and Bernoulli aggregation, which require reduced communication and occasional Hessian computations. Furthermore, we extend and analyze our approach to bidirectional communication compression and partial device participation setups to cater to the practical considerations of applications in federated learning. For all our methods, we derive fast condition-number-independent local linear and/or superlinear convergence rates. Finally, with extensive numerical evaluations on convex optimization problems, we illustrate that our designed schemes achieve state-of-the-art communication complexity compared to several key baselines using second-order information.
• Abstract（参考訳）: 計算と通信コストが高いにもかかわらず、Newton型の手法は不条件の凸問題に対する堅牢性のために分散トレーニングに魅力的な選択肢である。 本研究では, 理論的に優れた局所収束保証を維持しつつ, コストを削減するために, 曲率情報に対するommunication compression and aggregate mechanismについて検討する。 最近開発されたRichtarikらの3点圧縮機(3PC)のクラスを証明した。 勾配通信の[2022]もヘッセン通信に一般化できる。 この結果から,契約圧縮や遅延集約などの多種多様な通信戦略が開かれ,不当にコストのかかる曲率情報を圧縮することができる。 さらに,適応しきい値処理やベルヌーイ集約などの新しい3PC機構が発見された。 さらに,双方向コミュニケーション圧縮および部分的デバイス参加設定へのアプローチを拡張し分析し,連合学習における応用の実際的考察に資する。 すべての方法において,高速な条件数非依存局所線形および/または超線形収束率を求める。 最後に,凸最適化問題に対する広範な数値評価を行い,2次情報を用いた複数のキーベースラインと比較して,設計手法が最先端の通信複雑性を実現することを示す。

関連論文リスト

• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [31.107056382542417]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
  分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。 ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
  論文  参考訳（メタデータ） (2023-02-20T08:37:44Z)
• 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation [12.013162443721312]
  本稿では,コミュニケーション効率向上のための新しい勾配通信機構を提案する。 提案手法は,最近提案されたエラーフィードバック機構EF21を復元できることを示す。 遅延アグリゲーションとエラーフィードバックの文献の間には,新たな基本的リンクが提供される。
  論文  参考訳（メタデータ） (2022-02-02T12:34:18Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
  通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。 フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。 等質データと異質データの両方における収束度を解析する。
  論文  参考訳（メタデータ） (2020-07-02T14:44:07Z)
• Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees [9.31522898261934]
  Artemisは、コミュニケーション制約とデバイス部分的な参加を伴う分散環境での学習問題を解決するためのフレームワークである。 これは、一方向圧縮(サーバへの)のみを考慮する既存のアルゴリズムを改善したり、圧縮演算子に非常に強い仮定を用いており、デバイスの部分的な参加を考慮していないことが多い。
  論文  参考訳（メタデータ） (2020-06-25T17:37:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。