論文の概要: On the Stability Analysis of Open Federated Learning Systems
- arxiv url: http://arxiv.org/abs/2209.12307v1
- Date: Sun, 25 Sep 2022 19:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 18:29:28.443467
- Title: On the Stability Analysis of Open Federated Learning Systems
- Title(参考訳): オープンフェデレーション学習システムの安定性解析について
- Authors: Youbang Sun, Heshan Fernando, Tianyi Chen, Shahin Shahrampour
- Abstract要約: 我々は、クライアントがFLプロセス中にシステムに参加・離脱できるオープン・フェデレーション・ラーニング(FL)システムについて検討する。
オープンなFLシステムの安定性を,オープンなシステムにおける学習モデルの大きさを定量化する新しい性能指標を用いる。
- 参考スコア(独自算出の注目度): 20.887846050344038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the open federated learning (FL) systems, where clients may join
and/or leave the system during the FL process. Given the variability of the
number of present clients, convergence to a fixed model cannot be guaranteed in
open systems. Instead, we resort to a new performance metric that we term the
stability of open FL systems, which quantifies the magnitude of the learned
model in open systems. Under the assumption that local clients' functions are
strongly convex and smooth, we theoretically quantify the radius of stability
for two FL algorithms, namely local SGD and local Adam. We observe that this
radius relies on several key parameters, including the function condition
number as well as the variance of the stochastic gradient. Our theoretical
results are further verified by numerical simulations on both synthetic and
real-world benchmark data-sets.
- Abstract(参考訳): 我々は、クライアントがFLプロセス中にシステムに参加・離脱できるオープン・フェデレーション・ラーニング(FL)システムについて検討する。
現在のクライアント数の変動性を考えると、固定されたモデルへの収束はオープンシステムでは保証できない。
代わりに、オープンシステムにおける学習モデルの大きさを定量化するopen flシステムの安定性という新しいパフォーマンス指標を頼りにしています。
局所クライアント関数が強く凸かつ滑らかであるという仮定の下で、局所SGDと局所Adamという2つのFLアルゴリズムの安定性半径を理論的に定量化する。
この半径は、関数条件数や確率勾配の分散など、いくつかの重要なパラメータに依存することを観測する。
本理論は合成および実世界のベンチマークデータセット上での数値シミュレーションによりさらに検証される。
関連論文リスト
- Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。
本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。
ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
論文 参考訳(メタデータ) (2023-05-08T18:21:41Z) - Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。
我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。
提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文 参考訳(メタデータ) (2023-01-30T11:46:34Z) - Knowledge Distillation for Federated Learning: a Practical Guide [8.2791533759453]
フェデレートラーニング(FL)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。
FLの最もよく使われるアルゴリズムはパラメータに基づくスキーム(フェデレート平均化など)である。
我々は、特定のFL問題に適したKDベースのアルゴリズムのレビューを行う。
論文 参考訳(メタデータ) (2022-11-09T08:31:23Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳(メタデータ) (2022-10-14T15:20:17Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳(メタデータ) (2022-06-14T13:12:12Z) - Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。
このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文 参考訳(メタデータ) (2022-02-17T02:01:37Z) - Federated Ensemble Model-based Reinforcement Learning in Edge Computing [21.840086997141498]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散機械学習パラダイムである。
モデルベースRLとアンサンブル知識蒸留をFLに効果的に組み込む新しいFRLアルゴリズムを提案する。
具体的には、FLと知識蒸留を利用して、クライアント向けの動的モデルのアンサンブルを作成し、環境と相互作用することなく、単にアンサンブルモデルを使用することでポリシーを訓練する。
論文 参考訳(メタデータ) (2021-09-12T16:19:10Z) - Rare event estimation using stochastic spectral embedding [0.0]
まれな障害事象の確率を推定することは、エンジニアリングシステムの信頼性評価において重要なステップである。
稀な事象推定問題を効率的に解くためにアルゴリズムを調整した一連の修正を提案する。
論文 参考訳(メタデータ) (2021-06-09T16:10:33Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳(メタデータ) (2020-11-14T01:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。