論文の概要: Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization

• arxiv url: http://arxiv.org/abs/2007.07481v1
• Date: Wed, 15 Jul 2020 05:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 05:17:26.094770
• Title: Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
• Title（参考訳）: 不均一フェデレーション最適化における目的的不整合問題への対処
• Authors: Jianyu Wang, Qinghua Liu, Hao Liang, Gauri Joshi, H. Vincent Poor
• Abstract要約: 本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
• 参考スコア（独自算出の注目度）: 93.78811018928583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose FedNova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.
• Abstract（参考訳）: フェデレーション最適化では、クライアントのローカルデータセットにおける不均一性と計算速度は、各通信ラウンドにおいて各クライアントが実行するローカル更新数に大きな変動をもたらす。 そのようなモデルの単純重み付け集約は、客観的な矛盾、すなわち、大域的モデルは、真の目的と任意に異なる不一致目的関数の定常点に収束する。 本稿では,フェデレーション不均質最適化アルゴリズムの収束を解析するための汎用フレームワークを提案する。 従来提案されていたFedAvgやFedProxといった手法を仮定し、ソリューションバイアスと客観的不整合による収束速度低下の第一原理的理解を提供する。 この分析から得られた知見を用いて、高速なエラー収束を保ちながら客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Federated Communication-Efficient Multi-Objective Optimization [27.492821176616815]
  本稿では,従来の手法と比較して誤り収束性能を向上させる新しいFMOOアルゴリズムであるFedCMOOを提案する。 また,FedCMOOの変種を導入し,最終目標値の所望の比率で目的値の勾配を指定できるようにした。
  論文  参考訳（メタデータ） (2024-10-21T18:09:22Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• Federated Covariate Shift Adaptation for Missing Target Output Values [1.1374487003189466]
  本稿では,最新のマルチソースコシフトアルゴリズムをフェデレート学習の枠組みに拡張する。 対象タスクの重み付けモデルを構築し,我々の設定で好ましく機能するフェデレーション共シフト適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-28T09:15:41Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms [21.11885845002748]
  後部推論問題として、代替的な視点を示し、フェデレーション学習を定式化する。 目的は、各クライアントデバイスがそれぞれのローカルデータの後部を推測することで、グローバルな後部分布を推論することである。 正確な推論はしばしば難解であるが、この観点は、フェデレートされた設定でグローバルな最適化を探索する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2020-10-11T15:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。