論文の概要: FedAVO: Improving Communication Efficiency in Federated Learning with
African Vultures Optimizer
- arxiv url: http://arxiv.org/abs/2305.01154v3
- Date: Sat, 9 Dec 2023 04:08:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 03:00:27.958055
- Title: FedAVO: Improving Communication Efficiency in Federated Learning with
African Vultures Optimizer
- Title（参考訳）: FedAVO:アフリカの変数最適化によるフェデレーション学習におけるコミュニケーション効率の向上
- Authors: Md Zarif Hossain, Ahmed Imteaj
- Abstract要約: Federated Learning (FL) は分散機械学習技術である。
本稿では,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。
我々はFedAVOがモデル精度と通信ラウンドにおいて大幅な改善を達成していることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL), a distributed machine learning technique has
recently experienced tremendous growth in popularity due to its emphasis on
user data privacy. However, the distributed computations of FL can result in
constrained communication and drawn-out learning processes, necessitating the
client-server communication cost optimization. The ratio of chosen clients and
the quantity of local training passes are two hyperparameters that have a
significant impact on FL performance. Due to different training preferences
across various applications, it can be difficult for FL practitioners to
manually select such hyperparameters. In our research paper, we introduce
FedAVO, a novel FL algorithm that enhances communication effectiveness by
selecting the best hyperparameters leveraging the African Vulture Optimizer
(AVO). Our research demonstrates that the communication costs associated with
FL operations can be substantially reduced by adopting AVO for FL
hyperparameter adjustment. Through extensive evaluations of FedAVO on benchmark
datasets, we show that FedAVO achieves significant improvement in terms of
model accuracy and communication round, particularly with realistic cases of
Non-IID datasets. Our extensive evaluation of the FedAVO algorithm identifies
the optimal hyperparameters that are appropriately fitted for the benchmark
datasets, eventually increasing global model accuracy by 6% in comparison to
the state-of-the-art FL algorithms (such as FedAvg, FedProx, FedPSO, etc.).
- Abstract（参考訳）: 分散機械学習技術であるfederated learning(fl)は最近、ユーザデータのプライバシを重視した人気が高まっている。
しかし、FLの分散計算は制約のある通信と引き抜き学習プロセスをもたらし、クライアント・サーバ間の通信コストの最適化を必要とする。
選択したクライアントの比率とローカルトレーニングパスの量は、FL性能に大きな影響を及ぼす2つのハイパーパラメータである。
様々なアプリケーションで異なるトレーニング好みを持つため、fl実践者がそのようなハイパーパラメータを手動で選択することは困難である。
本稿では,アフリカ・ヴァルチャー・オプティマイザ(AVO)を利用した最適なハイパーパラメータを選択することで,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。
本研究は,FL の過パラメータ調整に AVO を採用することにより,FL 操作に関連する通信コストを大幅に削減できることを実証する。
ベンチマークデータセット上でのFedAVOの広範な評価を通じて、FedAVOはモデル精度と通信ラウンドにおいて、特に非IIDデータセットの現実的なケースにおいて、大幅な改善を実現していることを示す。
FedAVOアルゴリズムの広範な評価により、ベンチマークデータセットに適切に適合する最適なハイパーパラメータを特定し、最終的には最先端のFLアルゴリズム(FedAvg、FedProx、FedPSOなど)と比較して、グローバルモデルの精度を6%向上する。
関連論文リスト
- SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳（メタデータ） (2023-03-23T02:42:10Z) - A Multi-agent Reinforcement Learning Approach for Efficient Client
Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。
モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。
実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2022-01-09T05:55:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Evaluation of Hyperparameter-Optimization Approaches in an Industrial
Federated Learning System [0.2609784101826761]
フェデレートラーニング(FL)は、データに直接アクセスする必要性からモデルのトレーニングを分離する。
本研究では,FLシステムにおける様々なパラメータ最適化手法の影響について検討した。
グリッド探索とベイズ最適化に基づいてこれらの手法を実装し,MNISTデータセットとIoT(Internet of Things)センサを用いた産業用データセットに基づくアルゴリズムの評価を行った。
論文 参考訳（メタデータ） (2021-10-15T17:01:40Z) - Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文 参考訳（メタデータ） (2021-08-20T12:08:44Z) - Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。
本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
論文 参考訳（メタデータ） (2021-04-08T03:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。