論文の概要: Kernel-based Federated Learning with Personalization
- arxiv url: http://arxiv.org/abs/2207.07948v1
- Date: Sat, 16 Jul 2022 13:41:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 07:14:08.248612
- Title: Kernel-based Federated Learning with Personalization
- Title(参考訳): カーネルベースフェデレーション学習とパーソナライゼーション
- Authors: Sudeep Salgia, Sattar Vakili, Qing Zhao
- Abstract要約: 我々は、グローバルな目的に加えて、各クライアントがパーソナライズされたローカルな目的を最大化することに関心を持つ、個人化によるフェデレーションラーニングを考える。
本稿では, 最適後悔次数(多対数因子まで)を達成するために, 代用ガウス過程(GP)モデルに基づくアルゴリズムを提案する。
GPモデルのスパース近似は,クライアント間の通信コストを大幅に低減することを示す。
- 参考スコア(独自算出の注目度): 16.0251555430107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider federated learning with personalization, where in addition to a
global objective, each client is also interested in maximizing a personalized
local objective. We consider this problem under a general continuous action
space setting where the objective functions belong to a reproducing kernel
Hilbert space. We propose algorithms based on surrogate Gaussian process (GP)
models that achieve the optimal regret order (up to polylogarithmic factors).
Furthermore, we show that the sparse approximations of the GP models
significantly reduce the communication cost across clients.
- Abstract(参考訳): 我々は、グローバルな目的に加えて、各クライアントがパーソナライズされたローカルな目的を最大化することに関心を持つ、個人化によるフェデレーションラーニングを考える。
我々は、対象関数が再生核ヒルベルト空間に属する一般的な連続作用空間の設定の下でこの問題を考える。
本稿では, 最適後悔順序(多対数因子まで)を達成する代用ガウス過程(GP)モデルに基づくアルゴリズムを提案する。
さらに,GPモデルのスパース近似は,クライアント間の通信コストを大幅に削減することを示した。
関連論文リスト
- Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。
提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。
その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
論文 参考訳(メタデータ) (2024-11-07T13:25:52Z) - Distributed Optimization via Kernelized Multi-armed Bandits [6.04275169308491]
分散最適化問題を異種報酬設定によるマルチエージェントカーネル化されたマルチアームバンディット問題としてモデル化する。
我々は,カーネルの一般的なクラスに対して,サブ線形なリフレッシュバウンドを実現するために,完全に分散化されたアルゴリズムであるマルチエージェントIGP-UCB(MA-IGP-UCB)を提案する。
また,Multi-agent Delayed IGP-UCB (MAD-IGP-UCB)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-07T21:57:48Z) - APGL4SR: A Generic Framework with Adaptive and Personalized Global
Collaborative Information in Sequential Recommendation [86.29366168836141]
逐次推薦のための適応およびパーソナライズされたグラフ学習(APGL4SR)というグラフ駆動型フレームワークを提案する。
APGL4SRは、適応的でパーソナライズされたグローバルな協調情報をシーケンシャルレコメンデーションシステムに組み込む。
一般的なフレームワークとして、APGL4SRは大きなマージンを持つ他のベースラインよりも優れている。
論文 参考訳(メタデータ) (2023-11-06T01:33:24Z) - Personalized Federated Learning with Feature Alignment and Classifier
Collaboration [13.320381377599245]
データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。
ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。
本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
論文 参考訳(メタデータ) (2023-06-20T19:58:58Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳(メタデータ) (2023-05-19T10:47:44Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-04-11T14:51:55Z) - FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。
本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文 参考訳(メタデータ) (2023-02-13T18:55:31Z) - Find Your Friends: Personalized Federated Learning with the Right
Collaborators [7.749713014052951]
従来のフェデレーション学習環境では、中央サーバがクライアントのネットワークを調整し、1つのグローバルモデルをトレーニングする。
我々はFedeRiCoという新しい分散フレームワークを提案し、各クライアントはローカルなデータ配信に最適であるだけでなく、他のクライアントからも学べる。
論文 参考訳(メタデータ) (2022-10-12T21:29:22Z) - Federated Bayesian Neural Regression: A Scalable Global Federated
Gaussian Process [21.872163101238705]
Federated Bayesian Neural Regression (FedBNR)は、クライアントのプライバシを尊重するスケーラブルなスタンドアロングローバルGPを学習するアルゴリズムである。
すべてのクライアントデータが集中しているかのように、グローバルな予測モデルを学ぶという原則的なアプローチを導出します。
実世界の回帰データセットを用いて実験を行い、他のGPモデルと比較して統計的に有意な改善を示した。
論文 参考訳(メタデータ) (2022-06-13T17:52:58Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。