論文の概要: Asynchronous Distributed Bayesian Optimization at HPC Scale
- arxiv url: http://arxiv.org/abs/2207.00479v1
- Date: Fri, 1 Jul 2022 15:07:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 13:43:55.854350
- Title: Asynchronous Distributed Bayesian Optimization at HPC Scale
- Title（参考訳）: HPCスケールでの非同期分散ベイズ最適化
- Authors: Romain Egele, Joceran Gouneau, Venkatram Vishwanath, Isabelle Guyon,
Prasanna Balaprakash
- Abstract要約: 本稿では,各作業者が検索を実行し,管理者なしで他の作業者からのブラックボックス評価の入出力値を非同期に伝達する,非同期分散BO(ADBO)手法を提案する。
提案手法を4,096人まで拡張し,ソリューションの品質向上と収束の高速化を実証した。
- 参考スコア（独自算出の注目度）: 10.141154757652426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a widely used approach for computationally
expensive black-box optimization such as simulator calibration and
hyperparameter optimization of deep learning methods. In BO, a dynamically
updated computationally cheap surrogate model is employed to learn the
input-output relationship of the black-box function; this surrogate model is
used to explore and exploit the promising regions of the input space.
Multipoint BO methods adopt a single manager/multiple workers strategy to
achieve high-quality solutions in shorter time. However, the computational
overhead in multipoint generation schemes is a major bottleneck in designing BO
methods that can scale to thousands of workers. We present an
asynchronous-distributed BO (ADBO) method wherein each worker runs a search and
asynchronously communicates the input-output values of black-box evaluations
from all other workers without the manager. We scale our method up to 4,096
workers and demonstrate improvement in the quality of the solution and faster
convergence. We demonstrate the effectiveness of our approach for tuning the
hyperparameters of neural networks from the Exascale computing project CANDLE
benchmarks.
- Abstract（参考訳）: ベイズ最適化 (bayesian optimization, bo) は、シミュレーション校正やディープラーニング法のハイパーパラメータ最適化といった計算コストの高いブラックボックス最適化に広く用いられている手法である。
BOでは,ブラックボックス関数の入力出力関係の学習に動的に更新された安価なサロゲートモデルを用いており,このサロゲートモデルを用いて入力空間の有望領域を探索し,活用する。
マルチポイントBO法は、単一マネージャ/複数ワーカー戦略を採用し、短時間で高品質なソリューションを実現する。
しかし、マルチポイント生成スキームの計算オーバーヘッドは、数千人のワーカーにスケール可能なboメソッドを設計する上で大きなボトルネックである。
本稿では,各作業者が検索を実行し,他の作業者からのブラックボックス評価の入力出力値を非同期に伝達する,非同期分散BO(ADBO)手法を提案する。
提案手法は,最大4,096人までスケールし,ソリューションの品質向上とより高速なコンバージェンスを示す。
我々は,exascale computing project candle benchmarksを用いて,ニューラルネットワークのハイパーパラメータをチューニングする手法の有効性を示す。
関連論文リスト
- FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。
遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
論文 参考訳（メタデータ） (2024-01-03T13:07:07Z) - Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。
本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。
DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
論文 参考訳（メタデータ） (2023-06-11T02:08:59Z) - Massively Parallel Genetic Optimization through Asynchronous Propagation
of Populations [50.591267188664666]
Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。
提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。
Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
論文 参考訳（メタデータ） (2023-01-20T18:17:34Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳（メタデータ） (2022-02-07T15:04:15Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Restructuring, Pruning, and Adjustment of Deep Models for Parallel
Distributed Inference [15.720414948573753]
複数の処理ノード(ワーカ)上で既に訓練済みのディープモデルの並列実装について検討する。
並列化モデル全体の性能を保証するレイヤワイドモデル再構成およびプルーニング手法であるRePurposeを提案する。
既存の手法と比較して,RePurposeは並列実装による分散推論の効率を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-08-19T06:44:41Z) - Simple and Scalable Parallelized Bayesian Optimization [2.512827436728378]
本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。
マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
論文 参考訳（メタデータ） (2020-06-24T10:25:27Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。