論文の概要: Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism

• arxiv url: http://arxiv.org/abs/2411.12244v1
• Date: Tue, 19 Nov 2024 05:49:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:33.827305
• Title: Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism
• Title（参考訳）: ステップワイド適応機構を用いたフェデレーション学習のためのハイパーパラメータ最適化
• Authors: Yasaman Saadati, M. Hadi Amini,
• Abstract要約: Federated Learning(FL)は、クライアントの生のデータセットを共有するのではなく、ローカルモデルパラメータを利用して機密情報を保護する分散学習アプローチである。 本稿では、FL設定における2つの軽量ハイパー最適化(HPO)ツールであるRaytuneとOptunaの展開と統合について検討する。 この目的のために、ローカルとグローバルの両方のフィードバック機構が統合され、検索空間が制限され、HPOプロセスが高速化される。
• 参考スコア（独自算出の注目度）: 0.48342038441006796
• License:
• Abstract: Federated Learning (FL) is a decentralized learning approach that protects sensitive information by utilizing local model parameters rather than sharing clients' raw datasets. While this privacy-preserving method is widely employed across various applications, it still requires significant development and optimization. Automated Machine Learning (Auto-ML) has been adapted for reducing the need for manual adjustments. Previous studies have explored the integration of AutoML with different FL algorithms to evaluate their effectiveness in enhancing FL settings. However, Automated FL (Auto-FL) faces additional challenges due to the involvement of a large cohort of clients and global training rounds between clients and the server, rendering the tuning process time-consuming and nearly impossible on resource-constrained edge devices (e.g., IoT devices). This paper investigates the deployment and integration of two lightweight Hyper-Parameter Optimization (HPO) tools, Raytune and Optuna, within the context of FL settings. A step-wise feedback mechanism has also been designed to accelerate the hyper-parameter tuning process and coordinate AutoML toolkits with the FL server. To this end, both local and global feedback mechanisms are integrated to limit the search space and expedite the HPO process. Further, a novel client selection technique is introduced to mitigate the straggler effect in Auto-FL. The selected hyper-parameter tuning tools are evaluated using two benchmark datasets, FEMNIST, and CIFAR10. Further, the paper discusses the essential properties of successful HPO tools, the integration mechanism with the FL pipeline, and the challenges posed by the distributed and heterogeneous nature of FL environments.
• Abstract（参考訳）: Federated Learning(FL)は、クライアントの生のデータセットを共有するのではなく、ローカルモデルパラメータを利用して機密情報を保護する分散学習アプローチである。 このプライバシー保護手法は様々なアプリケーションに広く採用されているが、それでもかなりの開発と最適化が必要である。 自動機械学習(Automated Machine Learning, ML)は、手動調整の必要性を減らすために適応されている。 従来の研究では、AutoMLと異なるFLアルゴリズムの統合を検討し、FL設定の強化の有効性を評価している。 しかし、Automated FL(Auto-FL)は、クライアントの大規模なコホートとクライアントとサーバ間のグローバルなトレーニングラウンドの関与により、リソース制約のあるエッジデバイス(IoTデバイスなど)でチューニングプロセスの時間がかかり、ほぼ不可能になるため、さらなる課題に直面している。 本稿では,FL設定における2つの軽量ハイパーパラメータ最適化(HPO)ツールであるRaytuneとOptunaの展開と統合について検討する。 ステップワイズフィードバック機構は、ハイパーパラメータチューニングプロセスを高速化し、AutoMLツールキットをFLサーバと協調するように設計されている。 この目的のために、ローカルとグローバルの両方のフィードバック機構が統合され、検索空間が制限され、HPOプロセスが高速化される。 さらに、Auto-FLにおけるストラグラー効果を軽減するために、新規なクライアント選択手法を導入する。 選択したハイパーパラメータチューニングツールは、FEMNISTとCIFAR10という2つのベンチマークデータセットを用いて評価される。 さらに,HPOを成功させるツールの本質的特性,FLパイプラインとの統合機構,およびFL環境の分散および異種性に起因する課題について論じる。

関連論文リスト

• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• A Web-Based Solution for Federated Learning with LLM-Based Automation [34.756818299081736]
  フェデレートラーニング(FL)は、分散デバイス間で協調的な機械学習に有望なアプローチを提供する。 我々は,フェデレート平均化(FedAvg)アルゴリズムをサポートするユーザフレンドリーなWebアプリケーションを開発した。 FLにおける意図に基づく自動化を、カスタマイズされたデータセットで訓練された微調整言語モデル(LLM)を用いて検討する。
  論文  参考訳（メタデータ） (2024-08-23T11:57:02Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Sample-Driven Federated Learning for Energy-Efficient and Real-Time IoT Sensing [22.968661040226756]
  我々は,ソフトアクター・クリティカル(A2C)フレームワーク上に構築されたSCFL(Sample-driven Control for Federated Learning)というオンライン強化学習アルゴリズムを導入する。 SCFLにより、エージェントは動的に適応し、変化する環境においてもグローバルな最適条件を見つけることができる。
  論文  参考訳（メタデータ） (2023-10-11T13:50:28Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Evaluation of Hyperparameter-Optimization Approaches in an Industrial Federated Learning System [0.2609784101826761]
  フェデレートラーニング(FL)は、データに直接アクセスする必要性からモデルのトレーニングを分離する。 本研究では,FLシステムにおける様々なパラメータ最適化手法の影響について検討した。 グリッド探索とベイズ最適化に基づいてこれらの手法を実装し,MNISTデータセットとIoT(Internet of Things)センサを用いた産業用データセットに基づくアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2021-10-15T17:01:40Z)
• Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning [4.710427287359642]
  Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合した、ディープラーニングのための分散モデルである。 FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。 本稿では,遺伝的クラスタ化FL(Genetic CFL)と呼ばれるハイブリッドアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-15T10:16:05Z)
• Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems [15.923599062148135]
  フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。 MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。 本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
  論文  参考訳（メタデータ） (2020-07-28T17:35:39Z)
• AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction [75.16836697734995]
  自動特徴相互作用選択(AutoFIS)と呼ばれる2段階のアルゴリズムを提案する。 AutoFISは、目標モデルを収束させるためにトレーニングするのと同等の計算コストで、因子化モデルに対する重要な特徴的相互作用を自動的に識別することができる。 AutoFISはHuawei App Storeレコメンデーションサービスのトレーニングプラットフォームにデプロイされている。
  論文  参考訳（メタデータ） (2020-03-25T06:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。