論文の概要: Bayesian Coreset Optimization for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2511.01800v1
- Date: Mon, 03 Nov 2025 17:58:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.35796
- Title: Bayesian Coreset Optimization for Personalized Federated Learning
- Title(参考訳): 個人化フェデレーション学習のためのベイズコアセット最適化
- Authors: Prateek Chanda, Shrey Modi, Ganesh Ramakrishnan,
- Abstract要約: Federated Learningのような分散機械学習環境では、個々の重みを単一の中央サーバに更新する複数のクライアントが存在する。
本稿では、各クライアントのトレーニング更新を、クライアントデータ全体ではなく、個々のクライアントのコアセットベースの代表データポイントのみに基づいて、中央サーバに転送する、パーソナライズされたコアセット重み付き学習環境を提案する。
- 参考スコア(独自算出の注目度): 15.758663902804075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In a distributed machine learning setting like Federated Learning where there are multiple clients involved which update their individual weights to a single central server, often training on the entire individual client's dataset for each client becomes cumbersome. To address this issue we propose $\methodprop$: a personalized coreset weighted federated learning setup where the training updates for each individual clients are forwarded to the central server based on only individual client coreset based representative data points instead of the entire client data. Through theoretical analysis we present how the average generalization error is minimax optimal up to logarithm bounds (upper bounded by $\mathcal{O}(n_k^{-\frac{2 \beta}{2 \beta+\boldsymbol{\Lambda}}} \log ^{2 \delta^{\prime}}(n_k))$) and lower bounds of $\mathcal{O}(n_k^{-\frac{2 \beta}{2 \beta+\boldsymbol{\Lambda}}})$, and how the overall generalization error on the data likelihood differs from a vanilla Federated Learning setup as a closed form function ${\boldsymbol{\Im}}(\boldsymbol{w}, n_k)$ of the coreset weights $\boldsymbol{w}$ and coreset sample size $n_k$. Our experiments on different benchmark datasets based on a variety of recent personalized federated learning architectures show significant gains as compared to random sampling on the training data followed by federated learning, thereby indicating how intelligently selecting such training samples can help in performance. Additionally, through experiments on medical datasets our proposed method showcases some gains as compared to other submodular optimization based approaches used for subset selection on client's data.
- Abstract(参考訳): Federated Learningのような分散機械学習環境では、個々の重みを単一の中央サーバに更新する複数のクライアントが関与する。
この問題を解決するために、$\methodprop: 個々のクライアントのトレーニング更新を、クライアントデータ全体ではなく、個々のクライアントのコアセットベースの代表データポイントのみに基づいて中央サーバに転送する、パーソナライズされたコアセット重み付き学習セットアップを提案する。
理論解析を通じて、平均一般化誤差が対数境界($\mathcal{O}(n_k^{-\frac{2 \beta+\boldsymbol{\Lambda}}} \log ^{2 \delta^{\prime}}(n_k))$)と、$\mathcal{O}(n_k^{-\frac{2 \beta}{2 \beta+\boldsymbol{\Lambda}}}$の下位境界($\mathcal{O}(n_k^{-\frac{2 \beta}{2 \beta+\boldsymbol{\Lambda}}}$)まで、また、データに対する全体的な一般化誤差が、閉形式関数としてバニラフェデレーション学習のセットアップとどのように異なるかを示す。
近年の多種多様な個人化フェデレーション学習アーキテクチャに基づくベンチマークデータセットを用いた実験は、トレーニングデータに対するランダムサンプリングとフェデレーション学習とを比較し、このようなトレーニングサンプルをインテリジェントに選択することで、パフォーマンスが向上することを示す。
さらに,医療データセットの実験を通じて,提案手法は,クライアントのデータに対するサブセット選択に使用される他のサブモジュール最適化に基づくアプローチと比較して,いくつかの利得を示す。
関連論文リスト
- Stochastic Approximation Approach to Federated Machine Learning [0.0]
本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。
FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。
提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
論文 参考訳(メタデータ) (2024-02-20T12:00:25Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳(メタデータ) (2023-02-07T18:26:07Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Global Convergence of Federated Learning for Mixed Regression [17.8469597916875]
本稿では,クライアントがクラスタ構造を示す場合のフェデレートラーニングにおけるモデルトレーニングの問題について検討する。
我々の分析における重要な革新はクラスタリングに関する一様見積であり、一般的な概念クラスを束縛することでVC次元を束縛することで証明する。
論文 参考訳(メタデータ) (2022-06-15T03:38:42Z) - Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。
ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。
分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文 参考訳(メタデータ) (2021-11-10T22:12:52Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳(メタデータ) (2020-12-31T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。