論文の概要: Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters

• arxiv url: http://arxiv.org/abs/2306.03824v1
• Date: Tue, 6 Jun 2023 16:12:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 14:38:37.706371
• Title: Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters
• Title（参考訳）: 安定による連合学習の一般化の理解--異質性問題
• Authors: Zhenyu Sun, Xiaochun Niu, Ermin Wei
• Abstract要約: 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
• 参考スコア（独自算出の注目度）: 1.4502611532302039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization performance is a key metric in evaluating machine learning models when applied to real-world applications. Good generalization indicates the model can predict unseen data correctly when trained under a limited number of data. Federated learning (FL), which has emerged as a popular distributed learning framework, allows multiple devices or clients to train a shared model without violating privacy requirements. While the existing literature has studied extensively the generalization performances of centralized machine learning algorithms, similar analysis in the federated settings is either absent or with very restrictive assumptions on the loss functions. In this paper, we aim to analyze the generalization performances of federated learning by means of algorithmic stability, which measures the change of the output model of an algorithm when perturbing one data point. Three widely-used algorithms are studied, including FedAvg, SCAFFOLD, and FedProx, under convex and non-convex loss functions. Our analysis shows that the generalization performances of models trained by these three algorithms are closely related to the heterogeneity of clients' datasets as well as the convergence behaviors of the algorithms. Particularly, in the i.i.d. setting, our results recover the classical results of stochastic gradient descent (SGD).
• Abstract（参考訳）: 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 良質な一般化は、限られた数のデータの下でトレーニングされた場合、モデルは見当たらないデータを正しく予測できることを示している。 一般的な分散学習フレームワークとして登場したfederated learning(fl)は、複数のデバイスやクライアントが、プライバシ要件に違反することなく、共有モデルをトレーニング可能にする。 既存の文献では、集中型機械学習アルゴリズムの一般化性能が広く研究されているが、フェデレーション設定における類似の分析は欠落するか、損失関数に非常に制限的な仮定を持つかのどちらかである。 本稿では,1つのデータポイントを摂動する場合のアルゴリズムの出力モデルの変化を測定するアルゴリズム安定性を用いて,フェデレーション学習の一般化性能を解析することを目的とする。 凸および非凸損失関数の下で、FedAvg、SCAFFOLD、FedProxを含む3つの広く利用されているアルゴリズムが研究されている。 解析の結果,これら3つのアルゴリズムで学習したモデルの一般化性能は,クライアントのデータセットの多様性やアルゴリズムの収束挙動と密接に関連していることがわかった。 特にi.i.d.設定では,確率勾配降下 (sgd) の古典的結果が復元された。

関連論文リスト

• Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization [22.577751005038543]
  Federated Learning(FL)は、複数のデバイスにまたがるニューラルネットワークをトレーニングする分散学習アプローチである。 FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のないローカルオプティマに繋がる。 本稿では,フェデレート最適化における第1次一般化ダイナミクス解析フレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-11-25T11:43:22Z)
• On the KL-Divergence-based Robust Satisficing Model [2.425685918104288]
  頑丈さを満足させる枠組みは 学界から注目を集めています 本稿では,解析的解釈,多様な性能保証,効率的で安定した数値法,収束解析,階層型データ構造に適した拡張について述べる。 我々は、最先端のベンチマークと比較して、モデルの性能が優れていることを実証する。
  論文  参考訳（メタデータ） (2024-08-17T10:05:05Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Modeling Generalization in Machine Learning: A Methodological and Computational Study [0.8057006406834467]
  我々は、機械学習の一般化を評価する際に、トレーニングデータの凸殻の概念を用いる。 機械学習モデルの一般化能力と次元に関するすべての指標との予期せぬ弱い関係を観察する。
  論文  参考訳（メタデータ） (2020-06-28T19:06:16Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。