論文の概要: Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process

• arxiv url: http://arxiv.org/abs/2206.06357v1
• Date: Mon, 13 Jun 2022 17:52:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 16:57:08.163744
• Title: Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
• Title（参考訳）: Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
• Authors: Haolin Yu, Kaiyang Guo, Mahdi Karami, Xi Chen, Guojun Zhang, Pascal Poupart
• Abstract要約: Federated Bayesian Neural Regression (FedBNR)は、クライアントのプライバシを尊重するスケーラブルなスタンドアロングローバルGPを学習するアルゴリズムである。 すべてのクライアントデータが集中しているかのように、グローバルな予測モデルを学ぶという原則的なアプローチを導出します。 実世界の回帰データセットを用いて実験を行い、他のGPモデルと比較して統計的に有意な改善を示した。
• 参考スコア（独自算出の注目度）: 21.872163101238705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In typical scenarios where the Federated Learning (FL) framework applies, it is common for clients to have insufficient training data to produce an accurate model. Thus, models that provide not only point estimations, but also some notion of confidence are beneficial. Gaussian Process (GP) is a powerful Bayesian model that comes with naturally well-calibrated variance estimations. However, it is challenging to learn a stand-alone global GP since merging local kernels leads to privacy leakage. To preserve privacy, previous works that consider federated GPs avoid learning a global model by focusing on the personalized setting or learning an ensemble of local models. We present Federated Bayesian Neural Regression (FedBNR), an algorithm that learns a scalable stand-alone global federated GP that respects clients' privacy. We incorporate deep kernel learning and random features for scalability by defining a unifying random kernel. We show this random kernel can recover any stationary kernel and many non-stationary kernels. We then derive a principled approach of learning a global predictive model as if all client data is centralized. We also learn global kernels with knowledge distillation methods for non-identically and independently distributed (non-i.i.d.) clients. Experiments are conducted on real-world regression datasets and show statistically significant improvements compared to other federated GP models.
• Abstract（参考訳）: フェデレートラーニング(FL)フレームワークが適用される典型的なシナリオでは、クライアントが正確なモデルを作成するのに十分なトレーニングデータを持つことが一般的です。 したがって、点推定だけでなく、信頼の概念も提供するモデルは有益である。 ガウス過程(英: Gaussian Process, GP)は、自然に校正された分散推定を伴う強力なベイズモデルである。 しかし、ローカルカーネルのマージがプライバシー漏洩につながるため、スタンドアローンのグローバルGPを学ぶのは難しい。 プライバシーを守るために、フェデレーションgpsを検討する以前の研究は、ローカルモデルのパーソナライズされた設定や学習に集中することで、グローバルモデルを学ぶことを避ける。 我々は,クライアントのプライバシを尊重するスケーラブルなスタンドアロングローバルフェデレーションGPを学習するアルゴリズムであるFederated Bayesian Neural Regression (FedBNR)を提案する。 統一的なランダムカーネルを定義することで、拡張性のために深いカーネル学習とランダム機能を取り込んでいます。 このランダムカーネルは、静止カーネルと多くの非定常カーネルを復元可能であることを示す。 そして、すべてのクライアントデータが集中しているかのように、グローバルな予測モデルを学ぶ原則に基づくアプローチを導出します。 また,グローバルカーネルを非同一かつ独立に分散したクライアントに対して,知識蒸留法を用いて学習する。 実世界の回帰データセットを用いて実験を行い、他のGPモデルと比較して統計的に有意な改善を示した。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Learning with Neural Graphical Models [2.2721854258621064]
  フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。 我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。 我々は、CDCの乳幼児死亡データからインサイトを抽出するためのFedNGMsの使用を実験的に実証した。
  論文  参考訳（メタデータ） (2023-09-20T23:24:22Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Federated Gaussian Process: Convergence, Automatic Personalization and Multi-fidelity Modeling [4.18804572788063]
  textttFGPRは、プライバシー保護のための多要素データモデリングにおいて有望なアプローチであることを示す。 textttFGPRは幅広いアプリケーションで優れており、プライバシー保護のための多要素データモデリングにおいて有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2021-11-28T00:17:31Z)
• Personalized Federated Learning with Gaussian Processes [24.102107455189454]
  フェデレートラーニングは、クライアントデバイス上でクロスクライアント通信に制限のあるグローバルモデルを学ぶことを目的としている。 本稿では,深いカーネル学習を伴うガウス過程(GP)に基づくPFLの解であるpFedGPを提案する。 pFedGPはベースライン法を著しく上回り、精度は最大で21%向上する。
  論文  参考訳（メタデータ） (2021-06-29T15:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。