論文の概要: FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
- arxiv url: http://arxiv.org/abs/2206.09576v1
- Date: Mon, 20 Jun 2022 05:25:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 14:51:49.805343
- Title: FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
- Title(参考訳): FedSSO:フェデレーションサーバサイド2階最適化アルゴリズム
- Authors: Xin Ma, Renyi Bao, Jinpeng Jiang, Yang Liu, Arthur Jiang, Jun Yan, Xin
Liu, Zhisong Pan
- Abstract要約: FedSSOは、フェデレート学習のためのサーバサイドの2次最適化手法である。
クライアントからのトレーニングデータを必要とせず,サーバ側でQuasi-Newton法を近似する。
- 参考スコア(独自算出の注目度): 11.854215187135958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose FedSSO, a server-side second-order optimization
method for federated learning (FL). In contrast to previous works in this
direction, we employ a server-side approximation for the Quasi-Newton method
without requiring any training data from the clients. In this way, we not only
shift the computation burden from clients to server, but also eliminate the
additional communication for second-order updates between clients and server
entirely. We provide theoretical guarantee for convergence of our novel method,
and empirically demonstrate our fast convergence and communication savings in
both convex and non-convex settings.
- Abstract(参考訳): 本稿では,フェデレートラーニング(FL)のためのサーバ側2次最適化手法であるFedSSOを提案する。
この方向の以前の作業とは対照的に、クライアントからのトレーニングデータを必要とせずに、疑似ニュートン法のサーバサイド近似を用いる。
このようにして、計算負荷をクライアントからサーバに移すだけでなく、クライアントとサーバ間の2次更新のための追加の通信を完全に排除します。
提案手法の収束を理論的に保証し,凸と非凸の両方において高速収束と通信の節約を実証的に示す。
関連論文リスト
- FedVARP: Tackling the Variance Due to Partial Client Participation in
Federated Learning [12.705015230789446]
データヘテロジニアス・フェデレーション・ラーニング(FL)システムは2つの重要な収束誤差の原因を負っている。
そこで本研究では,サーバに導入した分散削減アルゴリズムにより,クライアントの部分的参加によるエラーを解消する手法を提案する。
論文 参考訳(メタデータ) (2022-07-28T14:51:41Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳(メタデータ) (2022-07-13T16:58:22Z) - FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type
Method for Federated Learning [75.46959684676371]
我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。
FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
論文 参考訳(メタデータ) (2022-06-17T15:21:39Z) - Server-Side Stepsizes and Sampling Without Replacement Provably Help in
Federated Optimization [6.935471115003109]
本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。
特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。
また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
論文 参考訳(メタデータ) (2022-01-26T17:26:25Z) - Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。
このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。
我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文 参考訳(メタデータ) (2022-01-26T12:33:23Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z) - FedChain: Chained Algorithms for Near-Optimal Communication Cost in
Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。
本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文 参考訳(メタデータ) (2021-08-16T02:57:06Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。