Fugu-MT 論文翻訳(概要): Federated Learning Hyper-Parameter Tuning from a System Perspective

論文の概要: Federated Learning Hyper-Parameter Tuning from a System Perspective

arxiv url: http://arxiv.org/abs/2211.13656v1
Date: Thu, 24 Nov 2022 15:15:28 GMT
ステータス: 処理完了
システム内更新日: 2022-11-28 18:34:01.380161
Title: Federated Learning Hyper-Parameter Tuning from a System Perspective
Title（参考訳）: システムから見たハイパーパラメータチューニングのフェデレーション学習
Authors: Huanle Zhang and Lei Fu and Mi Zhang and Pengfei Hu and Xiuzhen Cheng and Prasant Mohapatra and Xin Liu
Abstract要約: Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。 FLハイパーパラメータを手動で選択する現在の実践は、FL実践者に重荷を課す。本稿では,アプリケーションの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuneを提案する。
参考スコア（独自算出の注目度）: 23.516484538620745
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) is a distributed model training paradigm that preserves clients' data privacy. It has gained tremendous attention from both academia and industry. FL hyper-parameters (e.g., the number of selected clients and the number of training passes) significantly affect the training overhead in terms of computation time, transmission time, computation load, and transmission load. However, the current practice of manually selecting FL hyper-parameters imposes a heavy burden on FL practitioners because applications have different training preferences. In this paper, we propose FedTune, an automatic FL hyper-parameter tuning algorithm tailored to applications' diverse system requirements in FL training. FedTune iteratively adjusts FL hyper-parameters during FL training and can be easily integrated into existing FL systems. Through extensive evaluations of FedTune for diverse applications and FL aggregation algorithms, we show that FedTune is lightweight and effective, achieving 8.48%-26.75% system overhead reduction compared to using fixed FL hyper-parameters. This paper assists FL practitioners in designing high-performance FL training solutions. The source code of FedTune is available at https://github.com/DataSysTech/FedTune.
Abstract（参考訳）: Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。学界と産業の両方から大きな注目を集めている。 FLハイパーパラメータ(例えば、選択されたクライアントの数とトレーニングパスの数)は、計算時間、送信時間、計算負荷、送信負荷の点で、トレーニングのオーバーヘッドに大きな影響を与える。しかし、FLハイパーパラメーターを手動で選択する現在の実践は、アプリケーションのトレーニングの好みが異なるため、FL実践者に重荷を課している。本稿では,FLトレーニングにおけるアプリケーションの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuneを提案する。 FedTuneはFLトレーニング中にFLハイパーパラメータを反復的に調整し、既存のFLシステムに容易に統合できる。多様なアプリケーションおよびfl集約アルゴリズムのためのフェデチューンを広範囲に評価した結果、フェデチューンは軽量で効果的であり、固定flハイパーパラメータと比較して8.48%-26.75%のシステムオーバーヘッド削減を達成した。本稿では,ハイパフォーマンスなflトレーニングソリューションの設計を支援する。 FedTuneのソースコードはhttps://github.com/DataSysTech/FedTuneで入手できる。

関連論文リスト

A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
MetisFL: An Embarrassingly Parallelized Controller for Scalable & Efficient Federated Learning Workflows [1.9874264019909988]
フェデレーション・ラーニング(FL)システムは通常、フェデレーション・コントローラと学習者という2つのコア・プロセス・エンティティから構成される。このニーズに応えるために,フェデレーションコントローラが第一級市民であるMetisFLと呼ばれる新しいFLシステムを設計・開発した。メティスFLは、大規模なFLの訓練を加速するために、フェデレーションコントローラによって行われた全ての操作を再設計する。
論文参考訳（メタデータ） (2023-11-01T07:01:19Z)
FLGo: A Fully Customizable Federated Learning Platform [23.09038374160798]
FLGoと呼ばれる軽量なフェデレーション学習プラットフォームを提案する。私たちのプラットフォームは、アウトオブボックスプラグインとして、40以上のベンチマーク、20以上のアルゴリズム、および2つのシステムシミュレータを提供しています。また,並列加速度,実験トラッカ,パラメータ自動チューニングなどの実験ツールも開発している。
論文参考訳（メタデータ） (2023-06-21T07:55:29Z)
Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文参考訳（メタデータ） (2023-03-23T02:42:10Z)
Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文参考訳（メタデータ） (2022-09-21T08:52:51Z)
Fast Server Learning Rate Tuning for Coded Federated Dropout [3.9653673778225946]
Federated Dropout (FD) はFLセッションの通信効率を改善する技術である。各クライアントで異なるサブモデルを使用することで、符号化理論を利用してFDを強化する。 EMNISTデータセットの場合、このメカニズムはドロップアウトケースの最終的な精度の99.6%を達成する。
論文参考訳（メタデータ） (2022-01-26T16:19:04Z)
Automatic Tuning of Federated Learning Hyper-Parameters from System Perspective [15.108050457914516]
Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。本稿では,FLトレーニングの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuningを提案する。 FedTuningは軽量で柔軟性があり、時間、計算、通信の異なるトレーニングの好みに対して平均41%の改善を実現している。
論文参考訳（メタデータ） (2021-10-06T20:43:25Z)
Critical Learning Periods in Federated Learning [11.138980572551066]
フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。 FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
論文参考訳（メタデータ） (2021-09-12T21:06:07Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)
Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。最適解を得るために,二項探索アルゴリズムを提案する。シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
論文参考訳（メタデータ） (2020-07-05T19:00:07Z)
Convergence Time Optimization for Federated Learning over Wireless Networks [160.82696473996566]
無線ユーザが(ローカル収集データを用いて訓練した)ローカルFLモデルを基地局(BS)に送信する無線ネットワークを考える。中央コントローラとして機能するBSは、受信したローカルFLモデルを使用してグローバルFLモデルを生成し、それを全ユーザにブロードキャストする。無線ネットワークにおけるリソースブロック(RB)の数が限られているため、ローカルFLモデルパラメータをBSに送信するために選択できるのは一部のユーザのみである。各ユーザが独自のトレーニングデータサンプルを持っているため、BSは、収束したグローバルFLモデルを生成するために、すべてのローカルユーザFLモデルを含むことを好んでいる。
論文参考訳（メタデータ） (2020-01-22T01:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。