論文の概要: Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization
- arxiv url: http://arxiv.org/abs/2007.07481v1
- Date: Wed, 15 Jul 2020 05:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 05:17:26.094770
- Title: Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization
- Title(参考訳): 不均一フェデレーション最適化における目的的不整合問題への対処
- Authors: Jianyu Wang, Qinghua Liu, Hao Liang, Gauri Joshi, H. Vincent Poor
- Abstract要約: 本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
- 参考スコア(独自算出の注目度): 93.78811018928583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated optimization, heterogeneity in the clients' local datasets and
computation speeds results in large variations in the number of local updates
performed by each client in each communication round. Naive weighted
aggregation of such models causes objective inconsistency, that is, the global
model converges to a stationary point of a mismatched objective function which
can be arbitrarily different from the true objective. This paper provides a
general framework to analyze the convergence of federated heterogeneous
optimization algorithms. It subsumes previously proposed methods such as FedAvg
and FedProx and provides the first principled understanding of the solution
bias and the convergence slowdown due to objective inconsistency. Using
insights from this analysis, we propose FedNova, a normalized averaging method
that eliminates objective inconsistency while preserving fast error
convergence.
- Abstract(参考訳): フェデレーション最適化では、クライアントのローカルデータセットにおける不均一性と計算速度は、各通信ラウンドにおいて各クライアントが実行するローカル更新数に大きな変動をもたらす。
そのようなモデルの単純重み付け集約は、客観的な矛盾、すなわち、大域的モデルは、真の目的と任意に異なる不一致目的関数の定常点に収束する。
本稿では,フェデレーション不均質最適化アルゴリズムの収束を解析するための汎用フレームワークを提案する。
従来提案されていたFedAvgやFedProxといった手法を仮定し、ソリューションバイアスと客観的不整合による収束速度低下の第一原理的理解を提供する。
この分析から得られた知見を用いて、高速なエラー収束を保ちながら客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
関連論文リスト
- Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳(メタデータ) (2023-11-10T08:50:28Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning:
Approaching Global Consistency and Smooth Landscape [85.58750553923568]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳(メタデータ) (2023-05-19T10:47:44Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳(メタデータ) (2023-03-01T02:13:22Z) - Federated Covariate Shift Adaptation for Missing Target Output Values [1.1374487003189466]
本稿では,最新のマルチソースコシフトアルゴリズムをフェデレート学習の枠組みに拡張する。
対象タスクの重み付けモデルを構築し,我々の設定で好ましく機能するフェデレーション共シフト適応アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-28T09:15:41Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-02-08T17:58:11Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Achieving Linear Convergence in Federated Learning under Objective and
Systems Heterogeneity [24.95640915217946]
FedLinは、過去のグラデーションを活用し、クライアント固有の学習率を採用する、シンプルで新しいアルゴリズムです。
我々は,滑らかな凸,凸,非線形損失関数に対して集中収束率(アップ定数)をマッチングできるアプローチはフェドリンのみであることを示した。
論文 参考訳(メタデータ) (2021-02-14T02:47:35Z) - Federated Learning via Posterior Averaging: A New Perspective and
Practical Algorithms [21.11885845002748]
後部推論問題として、代替的な視点を示し、フェデレーション学習を定式化する。
目的は、各クライアントデバイスがそれぞれのローカルデータの後部を推測することで、グローバルな後部分布を推論することである。
正確な推論はしばしば難解であるが、この観点は、フェデレートされた設定でグローバルな最適化を探索する原則的な方法を提供する。
論文 参考訳(メタデータ) (2020-10-11T15:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。