論文の概要: Communication Efficient Distributed Learning with Censored, Quantized,
and Generalized Group ADMM
- arxiv url: http://arxiv.org/abs/2009.06459v2
- Date: Tue, 12 Jan 2021 05:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 12:06:57.675634
- Title: Communication Efficient Distributed Learning with Censored, Quantized,
and Generalized Group ADMM
- Title（参考訳）: censored, quantized, and generalized group admmを用いたコミュニケーション効率の高い分散学習
- Authors: Chaouki Ben Issaid, Anis Elgabli, Jihong Park, Mehdi Bennis,
M\'erouane Debbah
- Abstract要約: 本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決するための,コミュニケーション効率のよい分散機械学習フレームワークを提案する。
提案アルゴリズムであるCensored and Quantized Generalized GADMMは、GADMM(Group Alternating Direction Method of Multipliers)の労働者グループ化と分散学習のアイデアを活用する。
CQ-GGADMMは通信ラウンド数で高い通信効率を示し、精度と収束速度を損なうことなくエネルギー消費を伝達する。
- 参考スコア（独自算出の注目度）: 52.12831959365598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a communication-efficiently decentralized machine
learning framework that solves a consensus optimization problem defined over a
network of inter-connected workers. The proposed algorithm, Censored and
Quantized Generalized GADMM (CQ-GGADMM), leverages the worker grouping and
decentralized learning ideas of Group Alternating Direction Method of
Multipliers (GADMM), and pushes the frontier in communication efficiency by
extending its applicability to generalized network topologies, while
incorporating link censoring for negligible updates after quantization. We
theoretically prove that CQ-GGADMM achieves the linear convergence rate when
the local objective functions are strongly convex under some mild assumptions.
Numerical simulations corroborate that CQ-GGADMM exhibits higher communication
efficiency in terms of the number of communication rounds and transmit energy
consumption without compromising the accuracy and convergence speed, compared
to the censored decentralized ADMM, and the worker grouping method of GADMM.
- Abstract（参考訳）: 本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決する,コミュニケーション効率のよい分散機械学習フレームワークを提案する。
提案するアルゴリズムであるCensored and Quantized Generalized GADMM(CQ-GGADMM)は,グループ交代方向乗算器(GADMM)の作業者グループ化と分散学習の考え方を活用し,その適用性を一般化ネットワークトポロジに拡張し,量子化後の無視可能な更新のためのリンク検閲を取り入れた通信効率のフロンティアを推し進める。
我々はCQ-GGADMMが局所目的関数がいくつかの軽度仮定の下で強く凸であるときに線形収束率を達成することを理論的に証明する。
数値シミュレーションにより、cq-ggadmmは、検閲された分散admmとgadmmのワーカーグループ化法と比較して、通信ラウンド数で通信効率が高く、精度と収束速度を損なうことなく、エネルギー消費を伝達する。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。
周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。
我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
論文 参考訳（メタデータ） (2024-08-29T08:53:26Z) - Learning Regionally Decentralized AC Optimal Power Flows with ADMM [16.843799157160063]
本稿では,AC-OPFを解くためのADMMの収束を高速化する上で,機械学習がいかに役立つかを検討する。
ML-ADMMと呼ばれる新しい分散機械学習手法を提案し、各エージェントはディープラーニングを使用して結合ブランチのコンセンサスパラメータを学習する。
論文 参考訳（メタデータ） (2022-05-08T05:30:35Z) - Communication Efficient Federated Learning via Ordered ADMM in a Fully
Decentralized Setting [32.41824379833395]
命令型乗算器の交互方向法(OADMM)と呼ばれる通信効率のよいアルゴリズムを考案した。
OADMMの変種はSOADMMと呼ばれ、送信を順序付けするが、各ノードごとに送信が停止されることは決してない。
論文 参考訳（メタデータ） (2022-02-05T15:32:02Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Distributed ADMM with Synergetic Communication and Computation [39.930150618785355]
本稿では,相乗的通信と計算を併用した多元性アルゴリズム(ADMM)の分散交互方向法を提案する。
提案アルゴリズムでは,各ノードは隣接ノードの一部のみと相互作用し,その数は探索手順に従って徐々に決定される。
提案アルゴリズムの収束を証明し,ランダム性による収束分散の上限を与える。
論文 参考訳（メタデータ） (2020-09-29T08:36:26Z) - Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文 参考訳（メタデータ） (2020-09-05T21:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。