論文の概要: Distributed ADMM with Synergetic Communication and Computation
- arxiv url: http://arxiv.org/abs/2009.13863v1
- Date: Tue, 29 Sep 2020 08:36:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 07:22:15.556114
- Title: Distributed ADMM with Synergetic Communication and Computation
- Title（参考訳）: シナジー通信と計算を用いた分散ADMM
- Authors: Zhuojun Tian, Zhaoyang Zhang, Jue Wang, Xiaoming Chen, Wei Wang, and
Huaiyu Dai
- Abstract要約: 本稿では,相乗的通信と計算を併用した多元性アルゴリズム(ADMM)の分散交互方向法を提案する。
提案アルゴリズムでは,各ノードは隣接ノードの一部のみと相互作用し,その数は探索手順に従って徐々に決定される。
提案アルゴリズムの収束を証明し,ランダム性による収束分散の上限を与える。
- 参考スコア（独自算出の注目度）: 39.930150618785355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel distributed alternating direction method of
multipliers (ADMM) algorithm with synergetic communication and computation,
called SCCD-ADMM, to reduce the total communication and computation cost of the
system. Explicitly, in the proposed algorithm, each node interacts with only
part of its neighboring nodes, the number of which is progressively determined
according to a heuristic searching procedure, which takes into account both the
predicted convergence rate and the communication and computation costs at each
iteration, resulting in a trade-off between communication and computation. Then
the node chooses its neighboring nodes according to an importance sampling
distribution derived theoretically to minimize the variance with the latest
information it locally stores. Finally, the node updates its local information
with a new update rule which adapts to the number of communication nodes. We
prove the convergence of the proposed algorithm and provide an upper bound of
the convergence variance brought by randomness. Extensive simulations validate
the excellent performances of the proposed algorithm in terms of convergence
rate and variance, the overall communication and computation cost, the impact
of network topology as well as the time for evaluation, in comparison with the
traditional counterparts.
- Abstract（参考訳）: 本稿では,SCCD-ADMMと呼ばれる乗算器アルゴリズムの分散交互方向法を提案し,システム全体の通信コストと計算コストを削減する。
提案アルゴリズムでは,各ノードが隣接するノードの一部のみと相互作用し,そのノードの数は,予測収束率と各イテレーションにおける通信・計算コストの両方を考慮したヒューリスティックな探索手順により徐々に決定され,通信と計算のトレードオフをもたらす。
そして、そのノードは、理論的に導出される重要サンプリング分布に従って隣接するノードを選択し、ローカルに格納する最新の情報との分散を最小化する。
最後に、ノードは、通信ノードの数に適応する新しい更新ルールでローカル情報を更新する。
提案アルゴリズムの収束を証明し,ランダム性によって生じる収束分散の上限を与える。
広範シミュレーションにより,提案アルゴリズムの収束率と分散性,全体的な通信・計算コスト,ネットワークトポロジの影響,評価時間といった点において,従来のアルゴリズムと比較して優れた性能が検証された。
関連論文リスト
- DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。
これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
論文 参考訳（メタデータ） (2021-07-26T18:11:07Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Communication Efficient Distributed Learning with Censored, Quantized,
and Generalized Group ADMM [52.12831959365598]
本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決するための,コミュニケーション効率のよい分散機械学習フレームワークを提案する。
提案アルゴリズムであるCensored and Quantized Generalized GADMMは、GADMM(Group Alternating Direction Method of Multipliers)の労働者グループ化と分散学習のアイデアを活用する。
CQ-GGADMMは通信ラウンド数で高い通信効率を示し、精度と収束速度を損なうことなくエネルギー消費を伝達する。
論文 参考訳（メタデータ） (2020-09-14T14:18:19Z) - Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文 参考訳（メタデータ） (2020-09-05T21:44:39Z) - Differentially Private ADMM for Convex Distributed Learning: Improved
Accuracy via Multi-Step Approximation [10.742065340992525]
Alternating Direction Method of Multipliers (ADMM) は分散学習において一般的な計算方法である。
トレーニングデータが機密性のある場合には、交換されたイテレートが深刻なプライバシー上の懸念を引き起こす。
本稿では,様々な凸学習問題に対する精度の向上を図った分散ADMMを提案する。
論文 参考訳（メタデータ） (2020-05-16T07:17:31Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - A Hybrid-Order Distributed SGD Method for Non-Convex Optimization to
Balance Communication Overhead, Computational Complexity, and Convergence
Rate [28.167294398293297]
通信負荷の少ない分散勾配降下法(SGD)を提案する。
各イテレーションにおける計算複雑性を低減するために、ワーカノードは、方向微分をゼロ階勾配推定で近似する。
論文 参考訳（メタデータ） (2020-03-27T14:02:15Z) - Channel Assignment in Uplink Wireless Communication using Machine
Learning Approach [54.012791474906514]
本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。
我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。
計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
論文 参考訳（メタデータ） (2020-01-12T15:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。