論文の概要: What Do We Mean by Generalization in Federated Learning?

• arxiv url: http://arxiv.org/abs/2110.14216v1
• Date: Wed, 27 Oct 2021 07:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 14:00:44.031021
• Title: What Do We Mean by Generalization in Federated Learning?
• Title（参考訳）: フェデレーション学習における一般化とは何か?
• Authors: Honglin Yuan, Warren Morningstar, Lin Ning, Karan Singhal
• Abstract要約: フェデレートされた学習研究は、パフォーマンスのギャップを目に見えないクライアントデータから切り離すべきである。 これらの性能ギャップを解消するためのフレームワークを提案する。 一般化の現実的なシミュレーションにおいて,データセット合成戦略が重要であることを示す。
• 参考スコア（独自算出の注目度）: 4.3012765978447565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning data is drawn from a distribution of distributions: clients are drawn from a meta-distribution, and their data are drawn from local data distributions. Thus generalization studies in federated learning should separate performance gaps from unseen client data (out-of-sample gap) from performance gaps from unseen client distributions (participation gap). In this work, we propose a framework for disentangling these performance gaps. Using this framework, we observe and explain differences in behavior across natural and synthetic federated datasets, indicating that dataset synthesis strategy can be important for realistic simulations of generalization in federated learning. We propose a semantic synthesis strategy that enables realistic simulation without naturally-partitioned data. Informed by our findings, we call out community suggestions for future federated learning works.
• Abstract（参考訳）: フェデレートされた学習データは分布の分布から引き出され、クライアントはメタ分布から引き出され、それらのデータは局所的なデータ分布から引き出される。 したがって、連合学習における一般化研究は、未確認のクライアントデータ(サンプル外ギャップ)と未確認のクライアント分散(参加ギャップ)とのパフォーマンスギャップを分離すべきである。 本研究では,これらの性能ギャップを解消するためのフレームワークを提案する。 この枠組みを用いて,自然および合成のフェデレーションデータセット間の行動の差異を観察,説明し,フェデレーション学習における一般化の現実的なシミュレーションにおいてデータセット合成戦略が重要であることを示す。 本稿では,自然分割データを用いずに現実的なシミュレーションを実現する意味合成戦略を提案する。 以上の知見から,今後の連合学習活動に対するコミュニティの提案を提起する。

関連論文リスト

• Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
  フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。 我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:37:52Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data [6.024145412139383]
  フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。 異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。 我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-12-07T13:05:47Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Performative Federated Learning: A Solution to Model-Dependent and Heterogeneous Distribution Shifts [24.196279060605402]
  複数のクライアントとサーバからなる連合学習(FL)システムについて検討する。 クライアントのデータが静的であると仮定する従来のFLフレームワークとは異なり、クライアントのデータ分散がデプロイされた決定モデルによって再生成されるシナリオを考察する。
  論文  参考訳（メタデータ） (2023-05-08T23:29:24Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Learning under Importance Sampling [49.17137296715029]
  本研究は, サンプリングエージェントと非均一に誘導されるデータに対する重要サンプリングと工夫の効果について検討する。 代替のないサンプリングを含むスキームでは,結果のアーキテクチャの性能は,各エージェントのデータ変動性に関連する2つの要因によって制御される。
  論文  参考訳（メタデータ） (2020-12-14T10:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。