論文の概要: Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression

• arxiv url: http://arxiv.org/abs/2211.14292v1
• Date: Fri, 25 Nov 2022 18:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:53:42.403378
• Title: Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression
• Title（参考訳）: バイアス圧縮によるフェデレーション非凸最適化における誤差フィードバックの解析
• Authors: Xiaoyun Li and Ping Li
• Abstract要約: 学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。 本稿では,バイアス圧縮の欠点を解消する手法を提案する。 部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
• 参考スコア（独自算出の注目度）: 37.6593006747285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In federated learning (FL) systems, e.g., wireless networks, the communication cost between the clients and the central server can often be a bottleneck. To reduce the communication cost, the paradigm of communication compression has become a popular strategy in the literature. In this paper, we focus on biased gradient compression techniques in non-convex FL problems. In the classical setting of distributed learning, the method of error feedback (EF) is a common technique to remedy the downsides of biased gradient compression. In this work, we study a compressed FL scheme equipped with error feedback, named Fed-EF. We further propose two variants: Fed-EF-SGD and Fed-EF-AMS, depending on the choice of the global model optimizer. We provide a generic theoretical analysis, which shows that directly applying biased compression in FL leads to a non-vanishing bias in the convergence rate. The proposed Fed-EF is able to match the convergence rate of the full-precision FL counterparts under data heterogeneity with a linear speedup. Moreover, we develop a new analysis of the EF under partial client participation, which is an important scenario in FL. We prove that under partial participation, the convergence rate of Fed-EF exhibits an extra slow-down factor due to a so-called ``stale error compensation'' effect. A numerical study is conducted to justify the intuitive impact of stale error accumulation on the norm convergence of Fed-EF under partial participation. Finally, we also demonstrate that incorporating the two-way compression in Fed-EF does not change the convergence results. In summary, our work conducts a thorough analysis of the error feedback in federated non-convex optimization. Our analysis with partial client participation also provides insights on a theoretical limitation of the error feedback mechanism, and possible directions for improvements.
• Abstract（参考訳）: 統合学習(FL)システムでは、例えば無線ネットワークでは、クライアントと中央サーバ間の通信コストがボトルネックとなることが多い。 コミュニケーションコストを削減するため、コミュニケーション圧縮のパラダイムは文学における一般的な戦略となっている。 本稿では,非凸FL問題における偏差勾配圧縮手法に着目する。 分散学習の古典的な設定では、誤差フィードバック法(EF)はバイアス勾配圧縮の欠点を緩和する一般的な手法である。 本研究では,Fed-EFと呼ばれる誤りフィードバックを備えた圧縮FL方式について検討する。 さらに、グローバルモデルオプティマイザの選択に応じて、Fed-EF-SGDとFed-EF-AMSの2つの変種を提案する。 我々は,flにバイアスド圧縮を直接適用することで,収束率の非バニッシブバイアスを生じさせる汎用的理論的解析法を提案する。 提案したFed-EFは、データ不均一性の下でのフル精度FLの収束率と線形スピードアップとを一致させることができる。 さらに, FL において重要なシナリオである部分的クライアント参加の下で, EF の新たな解析手法を開発する。 部分的な参加の下で、Fed-EFの収束率は、いわゆる ‘stale error compensation' 効果により、余分な緩やかな要因を示す。 部分的参加下でのFed-EFのノルム収束に対する安定化誤差蓄積の直感的影響を正当化するための数値的研究を行った。 最後に、Fed-EFに双方向圧縮を組み込むことで収束結果が変化しないことを示す。 まとめると、フェデレーション非凸最適化における誤差フィードバックの徹底的な解析を行う。 部分的なクライアント参加による分析は、エラーフィードバック機構の理論的制限や改善の可能な方向に関する洞察も提供する。

関連論文リスト

• Harnessing the Power of Federated Learning in Federated Contextual Bandits [20.835106310302876]
  FCB(Federated contextual bandits)は、FLとシーケンシャルな意思決定の重要な統合である。 FCBアプローチは、しばしば標準FLフレームワークから逸脱する、調整されたFLコンポーネントを主に採用している。 特に、回帰に基づくCBアルゴリズムを活用するために、FedIGWと呼ばれる新しいFCB設計が提案されている。
  論文  参考訳（メタデータ） (2023-12-26T21:44:09Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• On The Impact of Client Sampling on Federated Learning Convergence [4.530678016396477]
  FLの収束に関する新たな分解定理を導入し,クライアントサンプリングがグローバルモデル更新に与える影響を定量的に評価する。 この結果から,MDサンプリングは学習過程におけるデータ比の変化にレジリエンスがあるため,デフォルトのサンプリング方式として使用すべきであることが示唆された。
  論文  参考訳（メタデータ） (2021-07-26T13:36:06Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。