論文の概要: Federated Optimization Algorithms with Random Reshuffling and Gradient Compression

• arxiv url: http://arxiv.org/abs/2206.07021v1
• Date: Tue, 14 Jun 2022 17:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 15:33:13.642121
• Title: Federated Optimization Algorithms with Random Reshuffling and Gradient Compression
• Title（参考訳）: ランダムリシャッフルと勾配圧縮を用いたフェデレーション最適化アルゴリズム
• Authors: Abdurakhmon Sadiev, Grigory Malinovsky, Eduard Gorbunov, Igor Sokolov, Ahmed Khaled, Konstantin Burlachenko, Peter Richt\'arik
• Abstract要約: 勾配圧縮法と非置換サンプリング法を初めて解析する。 制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。 既存のアルゴリズムを改善するいくつかの設定について概説する。
• 参考スコア（独自算出の注目度）: 2.7554288121906296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient compression is a popular technique for improving communication complexity of stochastic first-order methods in distributed training of machine learning models. However, the existing works consider only with-replacement sampling of stochastic gradients. In contrast, it is well-known in practice and recently confirmed in theory that stochastic methods based on without-replacement sampling, e.g., Random Reshuffling (RR) method, perform better than ones that sample the gradients with-replacement. In this work, we close this gap in the literature and provide the first analysis of methods with gradient compression and without-replacement sampling. We first develop a distributed variant of random reshuffling with gradient compression (Q-RR), and show how to reduce the variance coming from gradient quantization through the use of control iterates. Next, to have a better fit to Federated Learning applications, we incorporate local computation and propose a variant of Q-RR called Q-NASTYA. Q-NASTYA uses local gradient steps and different local and global stepsizes. Next, we show how to reduce compression variance in this setting as well. Finally, we prove the convergence results for the proposed methods and outline several settings in which they improve upon existing algorithms.
• Abstract（参考訳）: グラディエント圧縮は、機械学習モデルの分散トレーニングにおける確率的一階法の通信複雑性を改善するための一般的な手法である。 しかし、既存の研究は確率勾配の非置換サンプリングのみを考慮する。 対照的に、実際にはよく知られており、近年理論上は、非置換サンプリング(例えばランダムリシャッフル法(RR))に基づく確率的手法が、置換を伴う勾配をサンプリングする手法よりも優れていることが確認されている。 そこで本研究では,このギャップを文献に埋め込み,勾配圧縮法と無置換サンプリング法の最初の分析を行う。 まず、勾配圧縮(Q-RR)を用いたランダムリシャッフルの分散変種を開発し、制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。 次に,フェデレーション学習アプリケーションへの適合性を高めるため,局所計算を取り入れ,q-nastyaと呼ばれるq-rrの変種を提案する。 q-nastyaはローカル勾配ステップと異なるローカルステップとグローバルステップを使用する。 次に、この設定における圧縮のばらつきを低減する方法を示す。 最後に,提案手法の収束結果を証明し,既存のアルゴリズムを改良したいくつかの設定を概説する。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Variance reduction techniques for stochastic proximal point algorithms [5.374800961359305]
  本稿では,近点アルゴリズムにおける分散低減手法の統一化研究を提案する。 本稿では,SVRG,SAGA,およびそれらの変種を滑らかで凸関数の近位バージョンとして指定できる汎用的近位アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-18T05:11:50Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。