Fugu-MT 論文翻訳(概要): FedSSO: A Federated Server-Side Second-Order Optimization Algorithm

論文の概要: FedSSO: A Federated Server-Side Second-Order Optimization Algorithm

arxiv url: http://arxiv.org/abs/2206.09576v1
Date: Mon, 20 Jun 2022 05:25:20 GMT
ステータス: 処理完了
システム内更新日: 2022-06-22 14:51:49.805343
Title: FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
Title（参考訳）: FedSSO:フェデレーションサーバサイド2階最適化アルゴリズム
Authors: Xin Ma, Renyi Bao, Jinpeng Jiang, Yang Liu, Arthur Jiang, Jun Yan, Xin Liu, Zhisong Pan
Abstract要約: FedSSOは、フェデレート学習のためのサーバサイドの2次最適化手法である。クライアントからのトレーニングデータを必要とせず,サーバ側でQuasi-Newton法を近似する。
参考スコア（独自算出の注目度）: 11.854215187135958
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we propose FedSSO, a server-side second-order optimization method for federated learning (FL). In contrast to previous works in this direction, we employ a server-side approximation for the Quasi-Newton method without requiring any training data from the clients. In this way, we not only shift the computation burden from clients to server, but also eliminate the additional communication for second-order updates between clients and server entirely. We provide theoretical guarantee for convergence of our novel method, and empirically demonstrate our fast convergence and communication savings in both convex and non-convex settings.
Abstract（参考訳）: 本稿では,フェデレートラーニング(FL)のためのサーバ側2次最適化手法であるFedSSOを提案する。この方向の以前の作業とは対照的に、クライアントからのトレーニングデータを必要とせずに、疑似ニュートン法のサーバサイド近似を用いる。このようにして、計算負荷をクライアントからサーバに移すだけでなく、クライアントとサーバ間の2次更新のための追加の通信を完全に排除します。提案手法の収束を理論的に保証し,凸と非凸の両方において高速収束と通信の節約を実証的に示す。

関連論文リスト

Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文参考訳（メタデータ） (2024-08-30T09:35:36Z)
Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文参考訳（メタデータ） (2024-06-03T08:48:49Z)
FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning [12.705015230789446]
データヘテロジニアス・フェデレーション・ラーニング(FL)システムは2つの重要な収束誤差の原因を負っている。そこで本研究では,サーバに導入した分散削減アルゴリズムにより,クライアントの部分的参加によるエラーを解消する手法を提案する。
論文参考訳（メタデータ） (2022-07-28T14:51:41Z)
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文参考訳（メタデータ） (2022-07-13T16:58:22Z)
FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
論文参考訳（メタデータ） (2022-06-17T15:21:39Z)
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization [6.935471115003109]
本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
論文参考訳（メタデータ） (2022-01-26T17:26:25Z)
Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文参考訳（メタデータ） (2022-01-26T12:33:23Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文参考訳（メタデータ） (2021-09-06T12:04:08Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。