論文の概要: Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2207.00479v4
• Date: Tue, 26 Sep 2023 07:02:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 10:46:36.670203
• Title: Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
• Title（参考訳）: 大規模ハイパーパラメータ最適化のための非同期分散ベイズ最適化
• Authors: Romain Egele, Isabelle Guyon, Venkatram Vishwanath, Prasanna Balaprakash
• Abstract要約: BOでは、パラメータ構成と性能の関係を学習するために、計算的に安価にサロゲートモデルを用いる。 本稿では非同期分散BOを提案する。各ワーカーがシーケンシャルBOを実行し、その結果を共有ストレージを介して非同期に通信する。 計算効率を損なうことなく,作業者の95%以上を並列作業者1,920名に拡張する。
• 参考スコア（独自算出の注目度）: 13.89136187674851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a promising approach for hyperparameter optimization of deep neural networks (DNNs), where each model training can take minutes to hours. In BO, a computationally cheap surrogate model is employed to learn the relationship between parameter configurations and their performance such as accuracy. Parallel BO methods often adopt single manager/multiple workers strategies to evaluate multiple hyperparameter configurations simultaneously. Despite significant hyperparameter evaluation time, the overhead in such centralized schemes prevents these methods to scale on a large number of workers. We present an asynchronous-decentralized BO, wherein each worker runs a sequential BO and asynchronously communicates its results through shared storage. We scale our method without loss of computational efficiency with above 95% of worker's utilization to 1,920 parallel workers (full production queue of the Polaris supercomputer) and demonstrate improvement in model accuracy as well as faster convergence on the CANDLE benchmark from the Exascale computing project.
• Abstract（参考訳）: ベイズ最適化(bayesian optimization、bo)は、ディープニューラルネットワーク(dnn)のハイパーパラメータ最適化において、各モデルのトレーニングに数分から数時間を要す有望なアプローチである。 BOでは、パラメータ構成と精度などの性能の関係を学習するために、計算的に安価な代理モデルを用いる。 並列boメソッドは、複数のハイパーパラメータの設定を同時に評価するために、シングルマネージャ/マルチプルワーカー戦略を採用することが多い。 かなりのハイパーパラメータ評価時間にもかかわらず、このような集中型スキームのオーバーヘッドは、これらの方法が多数のワーカーにスケールすることを妨げている。 我々は、各ワーカがシーケンシャルなboを実行し、その結果を共有ストレージを通じて非同期に通信する非同期分散boを提案する。 提案手法は,1,920人の並列作業者(ポーラリス・スーパーコンピュータのフル生産キュー)に対する作業者の利用率の95%以上で計算効率を損なうことなくスケールし,モデルの精度の向上と,exascale computing project によるろうそくベンチマークの収束率の向上を実証する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
  Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。 遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
  論文  参考訳（メタデータ） (2024-01-03T13:07:07Z)
• Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
  完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。 本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。 DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
  論文  参考訳（メタデータ） (2023-06-11T02:08:59Z)
• Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations [50.591267188664666]
  Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。 提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。 Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
  論文  参考訳（メタデータ） (2023-01-20T18:17:34Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference [15.720414948573753]
  複数の処理ノード(ワーカ)上で既に訓練済みのディープモデルの並列実装について検討する。 並列化モデル全体の性能を保証するレイヤワイドモデル再構成およびプルーニング手法であるRePurposeを提案する。 既存の手法と比較して,RePurposeは並列実装による分散推論の効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-08-19T06:44:41Z)
• Simple and Scalable Parallelized Bayesian Optimization [2.512827436728378]
  本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。 マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-06-24T10:25:27Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。