論文の概要: Client Selection for Generalization in Accelerated Federated Learning: A
Multi-Armed Bandit Approach
- arxiv url: http://arxiv.org/abs/2303.10373v1
- Date: Sat, 18 Mar 2023 09:45:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 19:45:47.438633
- Title: Client Selection for Generalization in Accelerated Federated Learning: A
Multi-Armed Bandit Approach
- Title（参考訳）: 加速的フェデレーション学習における一般化のためのクライアント選択:マルチアーマッドバンドアプローチ
- Authors: Dan Ben Ami, Kobi Cohen, Qing Zhao
- Abstract要約: フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。
FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 20.300740276237523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging machine learning (ML) paradigm used to
train models across multiple nodes (i.e., clients) holding local data sets,
without explicitly exchanging the data. It has attracted a growing interest in
recent years due to its advantages in terms of privacy considerations, and
communication resources. In FL, selected clients train their local models and
send a function of the models to the server, which consumes a random processing
and transmission time. The server updates the global model and broadcasts it
back to the clients. The client selection problem in FL is to schedule a subset
of the clients for training and transmission at each given time so as to
optimize the learning performance. In this paper, we present a novel
multi-armed bandit (MAB)-based approach for client selection to minimize the
training latency without harming the ability of the model to generalize, that
is, to provide reliable predictions for new observations. We develop a novel
algorithm to achieve this goal, dubbed Bandit Scheduling for FL (BSFL). We
analyze BSFL theoretically, and show that it achieves a logarithmic regret,
defined as the loss of BSFL as compared to a genie that has complete knowledge
about the latency means of all clients. Furthermore, simulation results using
synthetic and real datasets demonstrate that BSFL is superior to existing
methods.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、データを明示的に交換することなく、ローカルデータセットを保持する複数のノード(クライアントなど)でモデルをトレーニングするために使用される、新たなマシンラーニング(ml)パラダイムである。
近年、プライバシーの配慮や通信資源の面での利点から、関心が高まっている。
flでは、選択されたクライアントはローカルモデルをトレーニングし、ランダムな処理と送信時間を消費するサーバーにモデルの関数を送信する。
サーバはグローバルモデルを更新し、それをクライアントにブロードキャストする。
FLにおけるクライアント選択問題は、学習性能を最適化するために、各タイミングでクライアントのサブセットをトレーニングおよび送信するためにスケジュールすることである。
本稿では,マルチアーム・バンディット(MAB)に基づく新しい手法を提案する。この手法は,モデルの一般化能力,すなわち新しい観測結果に対する信頼性の高い予測を提供することなく,トレーニング遅延を最小限に抑える。
FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
bsflを理論的に分析し,bsflの損失として定義される対数的後悔を,全クライアントの待ち時間に関する完全な知識を持つジェネニーと比較して達成することを示す。
さらに、合成データと実データを用いたシミュレーション結果から、bsflは既存の手法よりも優れていることが示された。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - HierSFL: Local Differential Privacy-aided Split Federated Learning in
Mobile Edge Computing [7.180235086275924]
フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。
Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。
この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。
我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
論文 参考訳（メタデータ） (2024-01-16T09:34:10Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Joint Age-based Client Selection and Resource Allocation for
Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。
本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。
さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
論文 参考訳（メタデータ） (2023-04-18T13:58:16Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳（メタデータ） (2022-10-19T05:59:22Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Inference-Time Personalized Federated Learning [17.60724466773559]
推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。
本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。
IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
論文 参考訳（メタデータ） (2021-11-16T10:57:20Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳（メタデータ） (2021-09-19T22:57:23Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。