論文の概要: Compressed Gradient Tracking for Decentralized Optimization Over General
Directed Networks
- arxiv url: http://arxiv.org/abs/2106.07243v1
- Date: Mon, 14 Jun 2021 08:53:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:28:05.184267
- Title: Compressed Gradient Tracking for Decentralized Optimization Over General
Directed Networks
- Title(参考訳): 汎用ネットワーク上での分散最適化のための圧縮勾配追従法
- Authors: Zhuoqing Song, Lei Shi, Shi Pu, Ming Yan
- Abstract要約: 汎用的なネットワークトポロジを持つマルチエージェントネットワーク上での分散最適化のための2つの通信効率アルゴリズムを提案する。
第一部では,CPP(Compressed Push-Pull)と呼ばれる,通信効率の高い勾配追跡手法について考察する。
我々は、CPPが非バイアス圧縮作用素の一般クラスに適用可能であることを示し、強凸かつ滑らかな目的関数に対する線形収束を実現する。
第2部では、目的関数の同じ条件下での線形収束率も達成するCPP(B-CPP)の放送様バージョンを提案する。
- 参考スコア(独自算出の注目度): 9.503564093758197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose two communication-efficient algorithms for
decentralized optimization over a multi-agent network with general directed
network topology. In the first part, we consider a novel
communication-efficient gradient tracking based method, termed Compressed
Push-Pull (CPP), which combines the Push-Pull method with communication
compression. We show that CPP is applicable to a general class of unbiased
compression operators and achieves linear convergence for strongly convex and
smooth objective functions. In the second part, we propose a broadcast-like
version of CPP (B-CPP), which also achieves linear convergence rate under the
same conditions for the objective functions. B-CPP can be applied in an
asynchronous broadcast setting and further reduce communication costs compared
to CPP. Numerical experiments complement the theoretical analysis and confirm
the effectiveness of the proposed methods.
- Abstract(参考訳): 本稿では,汎用的なネットワークトポロジを持つマルチエージェントネットワーク上での分散最適化のための2つの通信効率アルゴリズムを提案する。
まず,Push-Pull法とPush-Pull法を組み合わせた,CPP(Compressed Push-Pull)と呼ばれる通信効率の高い勾配追跡手法を提案する。
その結果, cpp は非バイアス圧縮作用素の一般クラスに適用可能であり, 強凸および滑らかな対象関数に対して線形収束を実現する。
第2部では、目的関数の同じ条件下での線形収束率も達成するCPP(B-CPP)の放送様バージョンを提案する。
B-CPPは非同期ブロードキャスト設定に適用でき、CPPと比較して通信コストをさらに削減できる。
数値実験は理論解析を補完し,提案手法の有効性を確認する。
関連論文リスト
- Communication-Efficient Distributed Learning with Local Immediate Error
Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。
LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文 参考訳(メタデータ) (2024-02-19T05:59:09Z) - Improving the Worst-Case Bidirectional Communication Complexity for
Nonconvex Distributed Optimization under Function Similarity [52.138754950594375]
ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。
置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。
本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
論文 参考訳(メタデータ) (2024-02-09T13:58:33Z) - Linear Convergence of Pre-Conditioned PI Consensus Algorithm under
Restricted Strong Convexity [6.327393762036103]
本稿では,ピアツーピアマルチエージェントネットワークにおける分散凸最適化問題について考察する。
比例積分 (PI) 制御戦略を用いることで, 固定段数をもつ様々なアルゴリズムが開発されている。
論文 参考訳(メタデータ) (2023-09-30T15:54:52Z) - Convergence and Privacy of Decentralized Nonconvex Optimization with
Gradient Clipping and Communication Compression [31.161598424963934]
本稿では、圧縮を伴う分散非通信最適化における一般的な戦略の役割を理解するための第一歩を踏み出す。
ミニバッチ摂動前後の2種類の勾配クリッピングを提案する。
論文 参考訳(メタデータ) (2023-05-17T02:13:18Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳(メタデータ) (2023-04-07T13:41:08Z) - IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint
Multi-Agent Trajectory Prediction [73.25645602768158]
IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。
我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
論文 参考訳(メタデータ) (2023-03-01T15:16:56Z) - On Arbitrary Compression for Decentralized Consensus and Stochastic
Optimization over Directed Networks [0.6526824510982799]
所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。
既存の文献とは対照的に、任意の圧縮比が可能である。
滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
論文 参考訳(メタデータ) (2022-04-18T04:41:56Z) - Communication-Efficient Distributed SGD with Compressed Sensing [24.33697801661053]
中央サーバに接続されたエッジデバイスの集合に対する大規模分散最適化について検討する。
近年のフェデレート学習の進歩に触発されて,通信負担を軽減するために,分散勾配降下(SGD)型アルゴリズムを提案する。
我々は,通信チャネルによって発生する雑音摂動の存在下でのアルゴリズムの収束に関する理論的解析を行い,その効果を裏付ける数値実験を行う。
論文 参考訳(メタデータ) (2021-12-15T02:10:45Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳(メタデータ) (2020-07-01T04:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。