論文の概要: On the Convergence of FedProx with Extrapolation and Inexact Prox

• arxiv url: http://arxiv.org/abs/2410.01410v1
• Date: Wed, 2 Oct 2024 10:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 21:19:25.793727
• Title: On the Convergence of FedProx with Extrapolation and Inexact Prox
• Title（参考訳）: FedProx の外挿と非接触 Prox との収束性について
• Authors: Hanmin Li, Peter Richtárik,
• Abstract要約: 我々は、各クライアントが特定の演算子を正確に計算するという仮定なしに、FedExProxの挙動を調査する。 不完全性は解の近傍に収束することを示す。 我々の理論的洞察は総合的な数値実験によって検証される。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enhancing the FedProx federated learning algorithm (Li et al., 2020) with server-side extrapolation, Li et al. (2024a) recently introduced the FedExProx method. Their theoretical analysis, however, relies on the assumption that each client computes a certain proximal operator exactly, which is impractical since this is virtually never possible to do in real settings. In this paper, we investigate the behavior of FedExProx without this exactness assumption in the smooth and globally strongly convex setting. We establish a general convergence result, showing that inexactness leads to convergence to a neighborhood of the solution. Additionally, we demonstrate that, with careful control, the adverse effects of this inexactness can be mitigated. By linking inexactness to biased compression (Beznosikov et al., 2023), we refine our analysis, highlighting robustness of extrapolation to inexact proximal updates. We also examine the local iteration complexity required by each client to achieved the required level of inexactness using various local optimizers. Our theoretical insights are validated through comprehensive numerical experiments.
• Abstract（参考訳）: FedExProxフェデレーション学習アルゴリズム(Li et al , 2020)をサーバ側の外挿で強化するLi et al (2024a)は先日,FedExProxメソッドを導入した。 しかし、それらの理論的分析は、各クライアントが特定の近位演算子を正確に計算するという仮定に依存している。 本稿では,FedExProxの挙動を,滑らかで大まかに強い凸条件下で,この正確さを仮定せずに検討する。 一般収束結果を確立し、不完全性が解の近傍に収束することを示す。 さらに、注意深い制御により、この不有効性の悪影響を軽減できることを実証した。 偏差圧縮(Beznosikov et al , 2023)に不連続性をリンクすることにより, 解析を洗練し, 近位更新に対する外挿の堅牢性を強調した。 また、各クライアントが様々なローカルオプティマイザを用いて要求される不正確なレベルを達成するのに必要な局所的なイテレーションの複雑さについても検討する。 我々の理論的洞察は総合的な数値実験によって検証される。

関連論文リスト

• The Effect of Personalization in FedProx: A Fine-grained Analysis on Statistical Accuracy and Communication Efficiency [21.202284638968496]
  FedProxは、モデルパーソナライゼーションの正規化を可能にする、シンプルだが効果的なフェデレーション学習手法である。 我々は、FedProxが純粋なローカルトレーニングより優れ、最小限の最適統計率を達成する方法を示す。
  論文  参考訳（メタデータ） (2024-10-11T16:00:21Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond [41.082982732100696]
  我々はFedProxの収束理論とアルゴリズム安定性のレンズによるミニバッチ拡張の新しい局所的な相似性を開発する。 一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。
  論文  参考訳（メタデータ） (2022-06-10T15:35:10Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties [12.068153197381575]
  高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。 新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。 優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
  論文  参考訳（メタデータ） (2020-05-22T11:10:59Z)
• Towards Streaming Perception [70.68520310095155]
  本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。 この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。 本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
  論文  参考訳（メタデータ） (2020-05-21T01:51:35Z)
• A Closer Look at Accuracy vs. Robustness [94.2226357646813]
  堅牢なネットワークをトレーニングする現在の方法は、テスト精度の低下につながる。 実際の画像データセットが実際に分離されていることを示す。 我々は、実際に堅牢性と精度を達成するには、局所的なリプシッツを強制する手法を使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2020-03-05T07:09:32Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。