論文の概要: Federated Variational Inference: Towards Improved Personalization and Generalization

• arxiv url: http://arxiv.org/abs/2305.13672v1
• Date: Tue, 23 May 2023 04:28:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:03:05.850804
• Title: Federated Variational Inference: Towards Improved Personalization and Generalization
• Title（参考訳）: federated variational inference: パーソナライゼーションと一般化の改善に向けて
• Authors: Elahe Vedadi, Joshua V. Dillon, Philip Andrew Mansfield, Karan Singhal, Arash Afkanpour, Warren Richard Morningstar
• Abstract要約: 我々は、ステートレスなクロスデバイス・フェデレーション学習環境におけるパーソナライズと一般化について研究する。 まず階層的生成モデルを提案し,ベイズ推論を用いて定式化する。 次に、変分推論を用いてこの過程を近似し、モデルを効率的に訓練する。 我々は,FEMNISTとCIFAR-100画像分類のモデルを評価し,FedVIが両タスクの最先端性に勝っていることを示す。
• 参考スコア（独自算出の注目度）: 2.37589914835055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional federated learning algorithms train a single global model by leveraging all participating clients' data. However, due to heterogeneity in client generative distributions and predictive models, these approaches may not appropriately approximate the predictive process, converge to an optimal state, or generalize to new clients. We study personalization and generalization in stateless cross-device federated learning setups assuming heterogeneity in client data distributions and predictive models. We first propose a hierarchical generative model and formalize it using Bayesian Inference. We then approximate this process using Variational Inference to train our model efficiently. We call this algorithm Federated Variational Inference (FedVI). We use PAC-Bayes analysis to provide generalization bounds for FedVI. We evaluate our model on FEMNIST and CIFAR-100 image classification and show that FedVI beats the state-of-the-art on both tasks.
• Abstract（参考訳）: 従来のフェデレーション学習アルゴリズムは、すべてのクライアントのデータを活用することで、単一のグローバルモデルをトレーニングする。 しかし、クライアント生成分布と予測モデルの不均一性のため、これらのアプローチは予測過程を適切に近似したり、最適な状態に収束したり、新しいクライアントに一般化したりはできない。 本研究では,クライアントデータ分布と予測モデルにおける不均一性を仮定した,ステートレスクロスデバイスフェデレーション学習におけるパーソナライゼーションと一般化について検討する。 まず階層的生成モデルを提案し,ベイズ推論を用いて形式化する。 次に,モデルを効率的に学習するために変分推論を用いてこの過程を近似する。 我々はこのアルゴリズムをフェデレート変分推論 (FedVI) と呼ぶ。 我々は、FedVIの一般化境界を提供するためにPAC-Bayes解析を用いる。 我々は,FEMNISTとCIFAR-100画像分類のモデルを評価し,FedVIが両タスクの最先端性に勝っていることを示す。

関連論文リスト

• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Performative Federated Learning: A Solution to Model-Dependent and Heterogeneous Distribution Shifts [24.196279060605402]
  複数のクライアントとサーバからなる連合学習(FL)システムについて検討する。 クライアントのデータが静的であると仮定する従来のFLフレームワークとは異なり、クライアントのデータ分散がデプロイされた決定モデルによって再生成されるシナリオを考察する。
  論文  参考訳（メタデータ） (2023-05-08T23:29:24Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning [24.08509828106899]
  フェデレートラーニング(Federated Learning, FL)は、複数のクライアントが共同で共有グローバルモデルを学ぶことを可能にする分散ラーニングパラダイムである。 FLにおけるグローバルモデルをパーソナライズするために,CD2-pFedという新規なサイクリック蒸留誘導チャネルデカップリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-08T07:13:30Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。