論文の概要: Lower Bounds and Optimal Algorithms for Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2010.02372v1
• Date: Mon, 5 Oct 2020 22:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 22:41:05.920612
• Title: Lower Bounds and Optimal Algorithms for Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習のための下界と最適アルゴリズム
• Authors: Filip Hanzely, Slavom\'ir Hanzely, Samuel Horv\'ath, Peter Richt\'arik
• Abstract要約: 我々は最近HanzelyとRicht'arikによって導入されたパーソナライズド・フェデレーション・ラーニングの最適化について考察する(2020)。 私たちの最初の貢献は、コミュニケーションの複雑さと局所的なオラクルの複雑さの両方のために、この定式化のための最初の下位境界を確立することです。 2つ目のコントリビューションは、これらの下界にほぼすべてのレシエーションで一致するいくつかの最適手法の設計である。
• 参考スコア（独自算出の注目度）: 7.742297876120562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we consider the optimization formulation of personalized federated learning recently introduced by Hanzely and Richt\'arik (2020) which was shown to give an alternative explanation to the workings of local {\tt SGD} methods. Our first contribution is establishing the first lower bounds for this formulation, for both the communication complexity and the local oracle complexity. Our second contribution is the design of several optimal methods matching these lower bounds in almost all regimes. These are the first provably optimal methods for personalized federated learning. Our optimal methods include an accelerated variant of {\tt FedProx}, and an accelerated variance-reduced version of {\tt FedAvg}/Local {\tt SGD}. We demonstrate the practical superiority of our methods through extensive numerical experiments.
• Abstract（参考訳）: 本研究では,Hanzely と Richt\'arik (2020) が最近導入したパーソナライズド・フェデレーション・ラーニングの最適化について考察し,局所的な {\tt SGD} 手法の動作に代替的な説明を与えることを示した。 私たちの最初の貢献は、コミュニケーションの複雑さとローカルなオラクルの複雑さの両方のために、この定式化の最初の下限を確立することです。 2つ目のコントリビューションは、これらの下界にほぼすべてのレシエーションで一致するいくつかの最適手法の設計である。 これらは、パーソナライズされた連合学習に最適な最初の方法である。 我々の最適手法には、加速されたFedProx}の変種と、加速されたFedAvg}/Local {\ttSGD}の分散還元版が含まれる。 本手法の実用的優位性を広範囲な数値実験により実証する。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
  本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。 本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。 私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2024-10-15T06:17:59Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning [45.78238792836363]
  本稿では,SLEDGE (Single-Loop-E Gradient Estimator) という単一ループアルゴリズムを提案する。 既存の手法とは異なり、SLEDGEは、(ii)2階最適、(ii)PL領域における、(iii)少ないデータ以下の複雑さの利点を持つ。
  論文  参考訳（メタデータ） (2022-09-01T11:05:26Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
  分散最適化のための通信効率の高い第2次手法を複数開発する。 我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。 結果は実データセットでの実験結果と共にサポートされます。
  論文  参考訳（メタデータ） (2021-02-14T14:06:45Z)
• FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
  本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。 これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-05-11T16:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。