論文の概要: Federated Optimization of Smooth Loss Functions

• arxiv url: http://arxiv.org/abs/2201.01954v2
• Date: Thu, 4 Jan 2024 01:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 18:06:02.699768
• Title: Federated Optimization of Smooth Loss Functions
• Title（参考訳）: 平滑損失関数のフェデレーション最適化
• Authors: Ali Jadbabaie and Anuran Makur and Devavrat Shah
• Abstract要約: 本研究では,連合学習フレームワークにおける経験的リスク最小化(ERM)について検討する。 本稿では,FedLRGDアルゴリズムを提案する。 提案手法は,不正確な勾配勾配勾配を用いてサーバのERM問題を解く。
• 参考スコア（独自算出の注目度）: 35.944772011421264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study empirical risk minimization (ERM) within a federated learning framework, where a central server minimizes an ERM objective function using training data that is stored across $m$ clients. In this setting, the Federated Averaging (FedAve) algorithm is the staple for determining $\epsilon$-approximate solutions to the ERM problem. Similar to standard optimization algorithms, the convergence analysis of FedAve only relies on smoothness of the loss function in the optimization parameter. However, loss functions are often very smooth in the training data too. To exploit this additional smoothness, we propose the Federated Low Rank Gradient Descent (FedLRGD) algorithm. Since smoothness in data induces an approximate low rank structure on the loss function, our method first performs a few rounds of communication between the server and clients to learn weights that the server can use to approximate clients' gradients. Then, our method solves the ERM problem at the server using inexact gradient descent. To show that FedLRGD can have superior performance to FedAve, we present a notion of federated oracle complexity as a counterpart to canonical oracle complexity. Under some assumptions on the loss function, e.g., strong convexity in parameter, $\eta$-H\"older smoothness in data, etc., we prove that the federated oracle complexity of FedLRGD scales like $\phi m(p/\epsilon)^{\Theta(d/\eta)}$ and that of FedAve scales like $\phi m(p/\epsilon)^{3/4}$ (neglecting sub-dominant factors), where $\phi\gg 1$ is a "communication-to-computation ratio," $p$ is the parameter dimension, and $d$ is the data dimension. Then, we show that when $d$ is small and the loss function is sufficiently smooth in the data, FedLRGD beats FedAve in federated oracle complexity. Finally, in the course of analyzing FedLRGD, we also establish a result on low rank approximation of latent variable models.
• Abstract（参考訳）: 本研究では,実験的リスク最小化(ERM, empirical risk minimization)を,中央サーバが,$m$のクライアントに格納するトレーニングデータを用いて,ERMの目的関数を最小化するフェデレーション学習フレームワーク内で研究する。 この設定では、フェデレート平均化(FedAve)アルゴリズムは、ERM問題に対する$\epsilon$-approximateソリューションを決定するための必須条件である。 標準最適化アルゴリズムと同様に、fedaveの収束解析は最適化パラメータの損失関数の滑らかさのみに依存する。 しかし、トレーニングデータでは損失関数も非常にスムーズであることが多い。 このさらなる滑らかさを活用するために,フェデレート低ランク勾配Descent (FedLRGD) アルゴリズムを提案する。 データの平滑性は損失関数の近似低ランク構造を誘導するので,本手法はまずサーバとクライアント間の数ラウンドの通信を行い,サーバがクライアントの勾配を近似するために使用できる重みを学習する。 そこで本手法では,不正確な勾配勾配を用いたサーバのERM問題を解く。 FedLRGDがFedAveよりも優れた性能を持つことを示すために,本研究では,標準オラクルの複雑性に対抗して,フェデレートされたオラクルの複雑性の概念を提案する。 損失関数、例えばパラメータの強い凸性、データのより古い滑らかさなどの仮定の下で、federated oracleのfederated oracle complexity of fedlrgd scales($\phi m(p/\epsilon)^{\theta(d/\eta)}$および$\phi m(p/\epsilon)^{3/4}$(neglecting sub-dominant factors)($\phi\gg 1$は「通信対計算比」、$p$はパラメータ次元、$d$はデータ次元である。 次に、$d$が小さく、データで損失関数が十分に滑らかである場合、federated oracle の複雑さにおいて fedave をfederrgd が上回っています。 最後に、FedLRGDを解析する過程で、潜在変数モデルの低階近似の結果も確立する。

関連論文リスト

• Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
  実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。 本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
  ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。 本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。 我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
  論文  参考訳（メタデータ） (2023-10-05T15:48:41Z)
• Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints [2.323238724742687]
  多重線形ロジスティック回帰は多次元データ解析の強力なツールである。 本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。 また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
  論文  参考訳（メタデータ） (2023-09-17T11:05:08Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling [64.31011847952006]
  我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。 我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。 我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
  論文  参考訳（メタデータ） (2022-06-05T21:32:33Z)
• High-Dimensional Inference over Networks: Linear Convergence and Statistical Guarantees [20.701475313495884]
  エージェントネットワーク上の疎線形回帰を非指向グラフとしてモデル化し,サーバノードを持たない。 分布予測勾配追跡に基づくアルゴリズムの収束率と統計的保証を解析する。
  論文  参考訳（メタデータ） (2022-01-21T01:26:08Z)
• Gradient-Based Empirical Risk Minimization using Local Polynomial Regression [39.29885444997579]
  この論文の主な目標は、勾配降下(GD)や勾配降下(SGD)といった異なるアルゴリズムを比較することである。 損失関数がデータのスムーズな場合、各反復でオラクルを学習し、GDとSGDの両方のオラクル複雑度に打ち勝つことができることを示す。
  論文  参考訳（メタデータ） (2020-11-04T20:10:31Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。