論文の概要: Automatic Tuning of Federated Learning Hyper-Parameters from System Perspective

• arxiv url: http://arxiv.org/abs/2110.03061v1
• Date: Wed, 6 Oct 2021 20:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-09 11:00:32.549409
• Title: Automatic Tuning of Federated Learning Hyper-Parameters from System Perspective
• Title（参考訳）: システムから見たフェデレーション学習ハイパーパラメータの自動チューニング
• Authors: Huanle Zhang and Mi Zhang and Xin Liu and Prasant Mohapatra and Michael DeLucia
• Abstract要約: Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。 本稿では,FLトレーニングの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuningを提案する。 FedTuningは軽量で柔軟性があり、時間、計算、通信の異なるトレーニングの好みに対して平均41%の改善を実現している。
• 参考スコア（独自算出の注目度）: 15.108050457914516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a distributed model training paradigm that preserves clients' data privacy. FL hyper-parameters significantly affect the training overheads in terms of time, computation, and communication. However, the current practice of manually selecting FL hyper-parameters puts a high burden on FL practitioners since various applications prefer different training preferences. In this paper, we propose FedTuning, an automatic FL hyper-parameter tuning algorithm tailored to applications' diverse system requirements of FL training. FedTuning is lightweight and flexible, achieving an average of 41% improvement for different training preferences on time, computation, and communication compared to fixed FL hyper-parameters. FedTuning is available at https://github.com/dtczhl/FedTuning.
• Abstract（参考訳）: Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。 FLハイパーパラメータは、時間、計算、通信の点でトレーニングのオーバーヘッドに大きく影響する。 しかし、FLハイパーパラメーターを手動で選択する現在の実践は、様々なアプリケーションで異なるトレーニング嗜好が好まれるため、FL実践者に高い負担を与える。 本稿では,FLトレーニングの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuningを提案する。 fedtuningは軽量でフレキシブルであり、固定flハイパーパラメータと比較して、時間、計算、通信の異なるトレーニング好みに対して平均41%の改善を達成している。 FedTuningはhttps://github.com/dtczhl/FedTuning.comで入手できる。

関連論文リスト

• Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism [0.48342038441006796]
  Federated Learning(FL)は、クライアントの生のデータセットを共有するのではなく、ローカルモデルパラメータを利用して機密情報を保護する分散学習アプローチである。 本稿では、FL設定における2つの軽量ハイパー最適化(HPO)ツールであるRaytuneとOptunaの展開と統合について検討する。 この目的のために、ローカルとグローバルの両方のフィードバック機構が統合され、検索空間が制限され、HPOプロセスが高速化される。
  論文  参考訳（メタデータ） (2024-11-19T05:49:00Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• FedAVO: Improving Communication Efficiency in Federated Learning with African Vultures Optimizer [0.0]
  Federated Learning (FL) は分散機械学習技術である。 本稿では,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。 我々はFedAVOがモデル精度と通信ラウンドにおいて大幅な改善を達成していることを示す。
  論文  参考訳（メタデータ） (2023-05-02T02:04:19Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Federated Learning Hyper-Parameter Tuning from a System Perspective [23.516484538620745]
  Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。 FLハイパーパラメータを手動で選択する現在の実践は、FL実践者に重荷を課す。 本稿では,アプリケーションの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuneを提案する。
  論文  参考訳（メタデータ） (2022-11-24T15:15:28Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Fast Server Learning Rate Tuning for Coded Federated Dropout [3.9653673778225946]
  Federated Dropout (FD) はFLセッションの通信効率を改善する技術である。 各クライアントで異なるサブモデルを使用することで、符号化理論を利用してFDを強化する。 EMNISTデータセットの場合、このメカニズムはドロップアウトケースの最終的な精度の99.6%を達成する。
  論文  参考訳（メタデータ） (2022-01-26T16:19:04Z)
• User Scheduling for Federated Learning Through Over-the-Air Computation [22.853678584121862]
  FL(Federated Learning)と呼ばれる新しい機械学習技術は、エッジデバイスにおけるデータの保存と、学習プロセスにおけるMLモデルパラメータの交換のみを目的としている。 FLは通信ニーズを減らすだけでなく、地域のプライバシーを守るのにも役立ちます。 AirCompは、アナログ変調を用いて複数のデバイスが同時にデータを送信できるようにすることで、データを送信しながら計算することができる。
  論文  参考訳（メタデータ） (2021-08-05T23:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。