論文の概要: Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression

• arxiv url: http://arxiv.org/abs/2305.09896v1
• Date: Wed, 17 May 2023 02:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 17:54:44.812063
• Title: Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
• Title（参考訳）: 勾配クリッピング・通信圧縮による分散非凸最適化の収束性とプライバシ
• Authors: Boyue Li, Yuejie Chi
• Abstract要約: 本稿では、圧縮を伴う分散非通信最適化における一般的な戦略の役割を理解するための第一歩を踏み出す。 ミニバッチ摂動前後の2種類の勾配クリッピングを提案する。
• 参考スコア（独自算出の注目度）: 31.161598424963934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving communication efficiency in decentralized machine learning has been attracting significant attention, with communication compression recognized as an effective technique in algorithm design. This paper takes a first step to understand the role of gradient clipping, a popular strategy in practice, in decentralized nonconvex optimization with communication compression. We propose PORTER, which considers two variants of gradient clipping added before or after taking a mini-batch of stochastic gradients, where the former variant PORTER-DP allows local differential privacy analysis with additional Gaussian perturbation, and the latter variant PORTER-GC helps to stabilize training. We develop a novel analysis framework that establishes their convergence guarantees without assuming the stringent bounded gradient assumption. To the best of our knowledge, our work provides the first convergence analysis for decentralized nonconvex optimization with gradient clipping and communication compression, highlighting the trade-offs between convergence rate, compression ratio, network connectivity, and privacy.
• Abstract（参考訳）: 分散機械学習における通信効率の達成は、アルゴリズム設計の効果的な技術として認識され、大きな注目を集めている。 本稿では,通信圧縮を伴う分散非凸最適化における一般的な戦略である勾配クリッピングの役割を理解するための第一歩を踏み出す。 そこで,従来のPortER-DPではガウス摂動による局所的な差分プライバシー解析が可能であり,後者ではトレーニングの安定化に寄与する。 拘束的境界勾配仮定を仮定することなく収束保証を確立する新しい解析フレームワークを開発する。 我々の知る限りでは、我々の研究は勾配クリッピングと通信圧縮による分散非凸最適化のための最初の収束解析を提供し、収束率、圧縮率、ネットワーク接続性、プライバシの間のトレードオフを強調する。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks [0.6526824510982799]
  所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。 既存の文献とは対照的に、任意の圧縮比が可能である。 滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
  論文  参考訳（メタデータ） (2022-04-18T04:41:56Z)
• Communication-Efficient Distributed SGD with Compressed Sensing [24.33697801661053]
  中央サーバに接続されたエッジデバイスの集合に対する大規模分散最適化について検討する。 近年のフェデレート学習の進歩に触発されて,通信負担を軽減するために,分散勾配降下(SGD)型アルゴリズムを提案する。 我々は,通信チャネルによって発生する雑音摂動の存在下でのアルゴリズムの収束に関する理論的解析を行い,その効果を裏付ける数値実験を行う。
  論文  参考訳（メタデータ） (2021-12-15T02:10:45Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks [17.49477125920901]
  汎用マルチエージェントネットワーク上での2つの通信効率の良い分散最適化アルゴリズムを提案する。 最初のアルゴリズムは、Push-Pull法と通信圧縮を組み合わせた勾配追跡手法である。 第2のアルゴリズムはCPP(B-CPP)の放送的バージョンであり、目的関数上の同じ条件下での線形収束率も達成する。
  論文  参考訳（メタデータ） (2021-06-14T08:53:30Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。