論文の概要: A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting

• arxiv url: http://arxiv.org/abs/2205.15580v4
• Date: Wed, 3 Jan 2024 14:21:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 17:33:00.213304
• Title: A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
• Title（参考訳）: 部分的参加設定における分散非凸問題の計算・通信効率化手法
• Authors: Alexander Tyurin, Peter Richt\'arik
• Abstract要約: 本稿では, 分散低減, 部分的参加, 圧縮通信の3つの重要な要素を含む新しい手法を提案する。 本手法は, 部分的参加環境において, 最適オラクル複雑性と最先端通信複雑性を有することを示す。
• 参考スコア（独自算出の注目度）: 58.59873548589766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new method that includes three key components of distributed optimization and federated learning: variance reduction of stochastic gradients, partial participation, and compressed communication. We prove that the new method has optimal oracle complexity and state-of-the-art communication complexity in the partial participation setting. Regardless of the communication compression feature, our method successfully combines variance reduction and partial participation: we get the optimal oracle complexity, never need the participation of all nodes, and do not require the bounded gradients (dissimilarity) assumption.
• Abstract（参考訳）: 本稿では,分散最適化と連合学習の3つの重要な要素,確率的勾配の分散低減,部分的参加,圧縮通信について述べる。 本手法は, 部分参加環境において, 最適オラクル複雑性と最先端通信複雑性を有することを示す。 通信圧縮機能にかかわらず,本手法は分散の低減と部分的参加をうまく組み合わせる:最適なオラクル複雑性を得る,全てのノードの参加を必要としない,有界勾配(異性性)の仮定を必要としない。

関連論文リスト

• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Multi-Phase Relaxation Labeling for Square Jigsaw Puzzle Solving [73.58829980121767]
  本稿では,大域最適化に基づく二乗ジグソーパズルの解法を提案する。 この手法は完全に自動化されており、事前情報を前提とせず、未知または未知のピースオリエンテーションでパズルを扱うことができる。
  論文  参考訳（メタデータ） (2023-03-26T18:53:51Z)
• TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
  分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。 ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
  論文  参考訳（メタデータ） (2023-02-20T08:37:44Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation [11.870393751095083]
  曲率情報に対する同調圧縮と集約機構について検討する。 適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。 全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
  論文  参考訳（メタデータ） (2022-06-07T21:12:21Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees [9.31522898261934]
  Artemisは、コミュニケーション制約とデバイス部分的な参加を伴う分散環境での学習問題を解決するためのフレームワークである。 これは、一方向圧縮(サーバへの)のみを考慮する既存のアルゴリズムを改善したり、圧縮演算子に非常に強い仮定を用いており、デバイスの部分的な参加を考慮していないことが多い。
  論文  参考訳（メタデータ） (2020-06-25T17:37:45Z)
• Federated Learning of a Mixture of Global and Local Models [10.279748604797911]
  本稿では,フェデレート学習モデルのトレーニングのための新しい最適化形式を提案する。 局所的なステップは異種データの問題に対するコミュニケーションを改善することができることを示す。 特に,i) 局所的なステップが異種データの問題に対するコミュニケーションを改善することを示し,i) パーソナライゼーションが通信複雑性の低減をもたらすことを指摘した。
  論文  参考訳（メタデータ） (2020-02-10T09:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。