Fugu-MT 論文翻訳(概要): $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus

論文の概要: $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus

arxiv url: http://arxiv.org/abs/2206.10815v1
Date: Wed, 22 Jun 2022 02:42:04 GMT
ステータス: 処理完了
システム内更新日: 2022-06-23 16:11:16.898795
Title: $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus
Title（参考訳）: $\texttt{FedBC}$:Federated Learning Beyond Consensusによるグローバルモデルとローカルモデルの校正
Authors: Amrit Singh Bedi, Chen Fan, Alec Koppel, Anit Kumar Sahu, Brian M. Sadler, Furong Huang, and Dinesh Manocha
Abstract要約: フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
参考スコア（独自算出の注目度）: 66.62731854746856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In federated learning (FL), the objective of collaboratively learning a global model through aggregation of model updates across devices tends to oppose the goal of personalization via local information. In this work, we calibrate this tradeoff in a quantitative manner through a multi-criterion optimization-based framework, which we cast as a constrained program: the objective for a device is its local objective, which it seeks to minimize while satisfying nonlinear constraints that quantify the proximity between the local and the global model. By considering the Lagrangian relaxation of this problem, we develop an algorithm that allows each node to minimize its local component of Lagrangian through queries to a first-order gradient oracle. Then, the server executes Lagrange multiplier ascent steps followed by a Lagrange multiplier-weighted averaging step. We call this instantiation of the primal-dual method Federated Learning Beyond Consensus ($\texttt{FedBC}$). Theoretically, we establish that $\texttt{FedBC}$ converges to a first-order stationary point at rates that matches the state of the art, up to an additional error term that depends on the tolerance parameter that arises due to the proximity constraints. Overall, the analysis is a novel characterization of primal-dual methods applied to non-convex saddle point problems with nonlinear constraints. Finally, we demonstrate that $\texttt{FedBC}$ balances the global and local model test accuracy metrics across a suite of datasets (Synthetic, MNIST, CIFAR-10, Shakespeare), achieving competitive performance with the state of the art.
Abstract（参考訳）: フェデレーション学習(fl)では、デバイス間のモデル更新を集約してグローバルなモデルを協調的に学習する目的は、ローカル情報によるパーソナライゼーションの目標に反対する傾向がある。本研究では,このトレードオフを,局所モデルとグローバルモデルとの近接性を定量化する非線形制約を満足しつつ,最小化を図りつつ,デバイスを局所的な目的とする多条件最適化に基づくフレームワークを用いて,定量的に校正する。この問題のラグランジアン緩和を考えることで、一階勾配オラクルへのクエリを通じて各ノードがラグランジアンの局所成分を最小化できるアルゴリズムを開発した。そして、サーバは、ラグランジ乗数重み付け平均化ステップに続いてラグランジ乗数昇降ステップを実行する。私たちはこれを、Federated Learning Beyond Consensus(\texttt{FedBC}$)という原始双対メソッドのインスタンス化と呼ぶ。理論的には、$\texttt{FedBC}$は、技術の状態と一致するレートで1次定常点に収束し、近接制約によって生じる許容パラメータに依存する追加エラー項に収束する。全体として、この解析は非線形制約のある非凸サドルポイント問題に適用される原始双対法の新しい特徴付けである。最後に、$\texttt{FedBC}$は、一連のデータセット(Synthetic, MNIST, CIFAR-10, Shakespeare)間でグローバルおよびローカルモデルテスト精度のメトリクスのバランスをとり、最先端技術との競合性能を達成することを実証する。

関連論文リスト

FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文参考訳（メタデータ） (2024-05-27T15:25:32Z)
Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space [27.259110269667826]
フェデレートラーニング(FL)では、クライアント間で分散されたデータセット上でモデルをトレーニングする。小さくてノイズの多いデータセットは一般的であり、よく校正されたモデルの必要性を強調している。予測後部の混合と積を補間するベイズFLアルゴリズムである$beta$-Predictive Bayesを提案する。
論文参考訳（メタデータ） (2023-12-15T14:17:16Z)
DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文参考訳（メタデータ） (2023-08-16T11:22:36Z)
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-05-28T06:33:37Z)
FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文参考訳（メタデータ） (2023-02-21T03:55:29Z)
Online Federated Learning via Non-Stationary Detection and Adaptation amidst Concept Drift [39.12903814606534]
フェデレート・ラーニング(Federated Learning、FL)は、人工知能研究の幅広い文脈における新興分野である。 FLの既存の文献は、主に定常的なデータ生成過程を前提としている。我々は,textitFedAvgとtextitFedOMDアルゴリズムの理論的保証をほぼ定常的に組み合わせた,マルチスケールのアルゴリズムフレームワークを提案する。
論文参考訳（メタデータ） (2022-11-22T20:45:48Z)
Robust One Round Federated Learning with Predictive Space Bayesian Inference [19.533268415744338]
クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-06-20T01:06:59Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。