論文の概要: Second-Order Guarantees in Federated Learning
- arxiv url: http://arxiv.org/abs/2012.01474v1
- Date: Wed, 2 Dec 2020 19:30:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 04:05:19.359849
- Title: Second-Order Guarantees in Federated Learning
- Title(参考訳): フェデレートラーニングにおける2次保証
- Authors: Stefan Vlaski, Elsa Rizk, Ali H. Sayed
- Abstract要約: フェデレーション学習は,分散データからの集中学習として有用なものだ。
本稿では,集中型および分散型設定における2次最適性アルゴリズムについて述べる。
- 参考スコア(独自算出の注目度): 49.17137296715029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a useful framework for centralized learning from
distributed data under practical considerations of heterogeneity, asynchrony,
and privacy. Federated architectures are frequently deployed in deep learning
settings, which generally give rise to non-convex optimization problems.
Nevertheless, most existing analysis are either limited to convex loss
functions, or only establish first-order stationarity, despite the fact that
saddle-points, which are first-order stationary, are known to pose bottlenecks
in deep learning. We draw on recent results on the second-order optimality of
stochastic gradient algorithms in centralized and decentralized settings, and
establish second-order guarantees for a class of federated learning algorithms.
- Abstract(参考訳): フェデレーション学習は、異質性、非同期性、プライバシといった実践的な考慮の下で分散データから集中的に学習するための有用なフレームワークである。
フェデレーションアーキテクチャはディープラーニング環境に頻繁にデプロイされるため、通常は非凸最適化の問題が発生する。
しかしながら、既存の分析のほとんどは凸損失関数に制限されているか、あるいは一階定常点が深層学習のボトルネックとなることが知られているにもかかわらず、一階定常性を確立するのみである。
我々は,確率勾配アルゴリズムの集中的および分散的設定における2次最適性に関する最近の結果に基づいて,連合学習アルゴリズムのクラスに対する2次保証を確立する。
関連論文リスト
- Escaping Saddle Points in Heterogeneous Federated Learning via
Distributed SGD with Communication Compression [42.85797250438604]
本稿では,新しいエラーフィードバック方式により,圧縮された情報のみを伝達する新しいアルゴリズムPower-EFを提案する。
Power-EFは、データ均一性を仮定せずに不均一FLにおけるサドル点を確実に回避する最初の分散圧縮SGDアルゴリズムである。
我々の理論は、ローカルデータに対するより寛容な設定を拡張しながら、以前の結果を改善・復元する。
論文 参考訳(メタデータ) (2023-10-29T16:24:53Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-24T02:19:39Z) - A Primal-Dual Algorithm for Hybrid Federated Learning [11.955062839855334]
Fenchel Dualityをベースとした,ハイブリット・フェデレーション・ラーニングのための高速で堅牢なアルゴリズムを提案する。
また、クライアントデータを保護するためのプライバシーの考慮と必要な手順も提供します。
論文 参考訳(メタデータ) (2022-10-14T21:02:04Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - FedSKETCH: Communication-Efficient and Private Federated Learning via
Sketching [33.54413645276686]
コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。
我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
論文 参考訳(メタデータ) (2020-08-11T19:22:48Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳(メタデータ) (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。