論文の概要: Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks

• arxiv url: http://arxiv.org/abs/2106.07243v1
• Date: Mon, 14 Jun 2021 08:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:28:05.184267
• Title: Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks
• Title（参考訳）: 汎用ネットワーク上での分散最適化のための圧縮勾配追従法
• Authors: Zhuoqing Song, Lei Shi, Shi Pu, Ming Yan
• Abstract要約: 汎用的なネットワークトポロジを持つマルチエージェントネットワーク上での分散最適化のための2つの通信効率アルゴリズムを提案する。 第一部では,CPP(Compressed Push-Pull)と呼ばれる,通信効率の高い勾配追跡手法について考察する。 我々は、CPPが非バイアス圧縮作用素の一般クラスに適用可能であることを示し、強凸かつ滑らかな目的関数に対する線形収束を実現する。 第2部では、目的関数の同じ条件下での線形収束率も達成するCPP(B-CPP)の放送様バージョンを提案する。
• 参考スコア（独自算出の注目度）: 9.503564093758197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose two communication-efficient algorithms for decentralized optimization over a multi-agent network with general directed network topology. In the first part, we consider a novel communication-efficient gradient tracking based method, termed Compressed Push-Pull (CPP), which combines the Push-Pull method with communication compression. We show that CPP is applicable to a general class of unbiased compression operators and achieves linear convergence for strongly convex and smooth objective functions. In the second part, we propose a broadcast-like version of CPP (B-CPP), which also achieves linear convergence rate under the same conditions for the objective functions. B-CPP can be applied in an asynchronous broadcast setting and further reduce communication costs compared to CPP. Numerical experiments complement the theoretical analysis and confirm the effectiveness of the proposed methods.
• Abstract（参考訳）: 本稿では,汎用的なネットワークトポロジを持つマルチエージェントネットワーク上での分散最適化のための2つの通信効率アルゴリズムを提案する。 まず,Push-Pull法とPush-Pull法を組み合わせた,CPP(Compressed Push-Pull)と呼ばれる通信効率の高い勾配追跡手法を提案する。 その結果, cpp は非バイアス圧縮作用素の一般クラスに適用可能であり, 強凸および滑らかな対象関数に対して線形収束を実現する。 第2部では、目的関数の同じ条件下での線形収束率も達成するCPP(B-CPP)の放送様バージョンを提案する。 B-CPPは非同期ブロードキャスト設定に適用でき、CPPと比較して通信コストをさらに削減できる。 数値実験は理論解析を補完し,提案手法の有効性を確認する。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• On Linear Convergence of PI Consensus Algorithm under the Restricted Secant Inequality [5.35599092568615]
  本稿では,ピアツーピアマルチエージェントネットワークにおける分散最適化問題について考察する。 比例積分 (PI) 制御戦略を用いることで, 固定段数をもつ様々なアルゴリズムが開発されている。
  論文  参考訳（メタデータ） (2023-09-30T15:54:52Z)
• Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression [31.161598424963934]
  本稿では、圧縮を伴う分散非通信最適化における一般的な戦略の役割を理解するための第一歩を踏み出す。 ミニバッチ摂動前後の2種類の勾配クリッピングを提案する。
  論文  参考訳（メタデータ） (2023-05-17T02:13:18Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [31.107056382542417]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks [0.6526824510982799]
  所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。 既存の文献とは対照的に、任意の圧縮比が可能である。 滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
  論文  参考訳（メタデータ） (2022-04-18T04:41:56Z)
• Communication-Efficient Distributed SGD with Compressed Sensing [24.33697801661053]
  中央サーバに接続されたエッジデバイスの集合に対する大規模分散最適化について検討する。 近年のフェデレート学習の進歩に触発されて,通信負担を軽減するために,分散勾配降下(SGD)型アルゴリズムを提案する。 我々は,通信チャネルによって発生する雑音摂動の存在下でのアルゴリズムの収束に関する理論的解析を行い,その効果を裏付ける数値実験を行う。
  論文  参考訳（メタデータ） (2021-12-15T02:10:45Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。