論文の概要: A Multi-agent Reinforcement Learning Approach for Efficient Client
Selection in Federated Learning
- arxiv url: http://arxiv.org/abs/2201.02932v1
- Date: Sun, 9 Jan 2022 05:55:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 14:50:11.819937
- Title: A Multi-agent Reinforcement Learning Approach for Efficient Client
Selection in Federated Learning
- Title(参考訳): フェデレーション学習における効率的なクライアント選択のためのマルチエージェント強化学習手法
- Authors: Sai Qian Zhang, Jieyu Lin, Qi Zhang
- Abstract要約: Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。
モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。
実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
- 参考スコア(独自算出の注目度): 17.55163940659976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a training technique that enables client devices
to jointly learn a shared model by aggregating locally-computed models without
exposing their raw data. While most of the existing work focuses on improving
the FL model accuracy, in this paper, we focus on the improving the training
efficiency, which is often a hurdle for adopting FL in real-world applications.
Specifically, we design an efficient FL framework which jointly optimizes model
accuracy, processing latency and communication efficiency, all of which are
primary design considerations for real implementation of FL. Inspired by the
recent success of Multi-Agent Reinforcement Learning (MARL) in solving complex
control problems, we present \textit{FedMarl}, an MARL-based FL framework which
performs efficient run-time client selection. Experiments show that FedMarl can
significantly improve model accuracy with much lower processing latency and
communication cost.
- Abstract(参考訳): Federated Learning(FL)は、クライアントデバイスが生データを公開せずに、ローカルに計算されたモデルを集約することで、共有モデルを共同で学習できるトレーニング技術である。
既存の作業の多くはflモデルの精度向上に重点を置いているが,本稿では,実世界のアプリケーションでflを採用する上でのハードルとなるトレーニング効率の向上に注目する。
具体的には,モデル精度,処理遅延,通信効率を共同で最適化した効率的なflフレームワークを設計した。
複雑な制御問題の解決におけるMARL(Multi-Agent Reinforcement Learning)の成功に触発されて,MARLベースのFLフレームワークである \textit{FedMarl} を提案する。
実験によると、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できる。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - FLrce: Resource-Efficient Federated Learning with Early-Stopping
Strategy [8.69930753548684]
フェデレートラーニング(FL)がIoT(Internet of Things)で大人気
FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。
その結果,FLrceは既存のFLフレームワークと比較して,計算効率と通信効率を少なくとも47%,通信効率を43%向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-15T10:13:44Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳(メタデータ) (2023-03-23T02:42:10Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - Exploring Parameter-Efficient Fine-tuning for Improving Communication
Efficiency in Federated Learning [14.372498017434046]
フェデレート学習におけるパラメータ効率向上のための微調整法について検討する。
モデル重みのごく一部を共有することで、全体の通信オーバーヘッドを大幅に削減することができる。
論文 参考訳(メタデータ) (2022-10-04T16:08:54Z) - A Fair Federated Learning Framework With Reinforcement Learning [23.675056844328]
フェデレートラーニング(Federated Learning, FL)は、多くのクライアントが中央サーバの協調の下でモデルを協調的にトレーニングするパラダイムである。
本稿では,クライアントにアグリゲーション重み付けを割り当てるポリシを自動的に学習するPG-FFLという強化学習フレームワークを提案する。
フレームワークの有効性を検証するため、多様なデータセットに対して広範な実験を行う。
論文 参考訳(メタデータ) (2022-05-26T15:10:16Z) - Efficient Federated Learning for AIoT Applications Using Knowledge
Distillation [2.5892786553124085]
フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。
従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。
本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-11-29T06:40:42Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。