論文の概要: Evaluation of Hyperparameter-Optimization Approaches in an Industrial Federated Learning System

• arxiv url: http://arxiv.org/abs/2110.08202v1
• Date: Fri, 15 Oct 2021 17:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 12:57:56.557756
• Title: Evaluation of Hyperparameter-Optimization Approaches in an Industrial Federated Learning System
• Title（参考訳）: 産業連関学習システムにおけるハイパーパラメータ最適化手法の評価
• Authors: Stephanie Holly, Thomas Hiessl, Safoura Rezapour Lakani, Daniel Schall, Clemens Heitzinger, Jana Kemnitz
• Abstract要約: フェデレートラーニング(FL)は、データに直接アクセスする必要性からモデルのトレーニングを分離する。 本研究では,FLシステムにおける様々なパラメータ最適化手法の影響について検討した。 グリッド探索とベイズ最適化に基づいてこれらの手法を実装し,MNISTデータセットとIoT(Internet of Things)センサを用いた産業用データセットに基づくアルゴリズムの評価を行った。
• 参考スコア（独自算出の注目度）: 0.2609784101826761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) decouples model training from the need for direct access to the data and allows organizations to collaborate with industry partners to reach a satisfying level of performance without sharing vulnerable business information. The performance of a machine learning algorithm is highly sensitive to the choice of its hyperparameters. In an FL setting, hyperparameter optimization poses new challenges. In this work, we investigated the impact of different hyperparameter optimization approaches in an FL system. In an effort to reduce communication costs, a critical bottleneck in FL, we investigated a local hyperparameter optimization approach that -- in contrast to a global hyperparameter optimization approach -- allows every client to have its own hyperparameter configuration. We implemented these approaches based on grid search and Bayesian optimization and evaluated the algorithms on the MNIST data set using an i.i.d. partition and on an Internet of Things (IoT) sensor based industrial data set using a non-i.i.d. partition.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データに直接アクセスする必要性からモデルトレーニングを分離し、脆弱なビジネス情報を共有することなく、業界パートナとコラボレーションして満足度の高いパフォーマンスを実現する。 機械学習アルゴリズムの性能は、ハイパーパラメータの選択に非常に敏感である。 FL設定では、ハイパーパラメータ最適化が新しい課題をもたらす。 本研究では,FLシステムにおける様々なパラメータ最適化手法の影響について検討した。 flにおける重要なボトルネックである通信コストを削減するために、我々は、グローバルハイパーパラメータ最適化アプローチとは対照的に、すべてのクライアントが独自のハイパーパラメータ構成を持つことができるローカルハイパーパラメータ最適化アプローチを調査した。 グリッド探索とベイズ最適化に基づいてこれらの手法を実装し,i.d.パーティションを用いたMNISTデータセットと,i.d.パーティションを用いたIoT(Internet of Things)センサを用いた産業用データセットを用いて,アルゴリズムの評価を行った。

関連論文リスト

• Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism [0.48342038441006796]
  Federated Learning(FL)は、クライアントの生のデータセットを共有するのではなく、ローカルモデルパラメータを利用して機密情報を保護する分散学習アプローチである。 本稿では、FL設定における2つの軽量ハイパー最適化(HPO)ツールであるRaytuneとOptunaの展開と統合について検討する。 この目的のために、ローカルとグローバルの両方のフィードバック機構が統合され、検索空間が制限され、HPOプロセスが高速化される。
  論文  参考訳（メタデータ） (2024-11-19T05:49:00Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Sample-Driven Federated Learning for Energy-Efficient and Real-Time IoT Sensing [22.968661040226756]
  我々は,ソフトアクター・クリティカル(A2C)フレームワーク上に構築されたSCFL(Sample-driven Control for Federated Learning)というオンライン強化学習アルゴリズムを導入する。 SCFLにより、エージェントは動的に適応し、変化する環境においてもグローバルな最適条件を見つけることができる。
  論文  参考訳（メタデータ） (2023-10-11T13:50:28Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• FedAVO: Improving Communication Efficiency in Federated Learning with African Vultures Optimizer [0.0]
  Federated Learning (FL) は分散機械学習技術である。 本稿では,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。 我々はFedAVOがモデル精度と通信ラウンドにおいて大幅な改善を達成していることを示す。
  論文  参考訳（メタデータ） (2023-05-02T02:04:19Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)
• Particle Swarm Optimized Federated Learning For Industrial IoT and Smart City Services [9.693848515371268]
  本研究では,局所機械学習モデルに対するハイパーパラメータ設定を最適化するために,PSOに基づく手法を提案する。 2つのケーススタディを用いて提案手法の性能評価を行った。
  論文  参考訳（メタデータ） (2020-09-05T16:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。