論文の概要: GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2012.04201v2
• Date: Sat, 12 Dec 2020 08:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:05:20.411462
• Title: GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms
• Title（参考訳）: ブラックボックス最適化アルゴリズムの最適アンサンブルのためのgpu高速化排他探索
• Authors: Jiwei Liu, Bojan Tunguz, Gilberto Titericz
• Abstract要約: ブラックボックス最適化アルゴリズムの単純なアンサンブルは,どのアルゴリズムよりも優れていることを示す。 本稿では,最適アンサンブルのブラト力探索を高速化するマルチGPU最適化フレームワークを提案する。 我々は、270万のモデルをトレーニングし、541,440の最適化を実行することで15を評価した。
• 参考スコア（独自算出の注目度）: 1.246150324257064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box optimization is essential for tuning complex machine learning algorithms which are easier to experiment with than to understand. In this paper, we show that a simple ensemble of black-box optimization algorithms can outperform any single one of them. However, searching for such an optimal ensemble requires a large number of experiments. We propose a Multi-GPU-optimized framework to accelerate a brute force search for the optimal ensemble of black-box optimization algorithms by running many experiments in parallel. The lightweight optimizations are performed by CPU while expensive model training and evaluations are assigned to GPUs. We evaluate 15 optimizers by training 2.7 million models and running 541,440 optimizations. On a DGX-1, the search time is reduced from more than 10 days on two 20-core CPUs to less than 24 hours on 8-GPUs. With the optimal ensemble found by GPU-accelerated exhaustive search, we won the 2nd place of NeurIPS 2020 black-box optimization challenge.
• Abstract（参考訳）: ブラックボックス最適化は、理解するよりも実験しやすい複雑な機械学習アルゴリズムのチューニングに不可欠である。 本稿では,ブラックボックス最適化アルゴリズムの単純なアンサンブルが,いずれのアルゴリズムよりも優れていることを示す。 しかし、そのような最適なアンサンブルを探すには、多くの実験が必要となる。 我々は,複数の実験を並列に実行することで,ブラックボックス最適化アルゴリズムの最適アンサンブルのブラト力探索を高速化するマルチGPU最適化フレームワークを提案する。 軽量な最適化はCPUによって行われ、高価なモデルトレーニングと評価はGPUに割り当てられる。 我々は270万のモデルをトレーニングし、541,440の最適化を実行することで15の最適化器を評価する。 DGX-1では、2つの20コアCPUで10日以上から8GPUで24時間未満に短縮される。 GPUによる排他的検索による最適なアンサンブルによって、NeurIPS 2020ブラックボックス最適化の2位を獲得した。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Advanced Techniques for High-Performance Fock Matrix Construction on GPU Clusters [0.0]
  opt-UM と opt-Brc は、Hartree-Fock のケーキュレーションを$f$型角運動量関数に拡張した。 Opt-Brc はより小さな系と高度に収縮された三価ゼータの基底集合に対して優れ、オプト-UM は大きな分子系に対して有利である。
  論文  参考訳（メタデータ） (2024-07-31T08:49:06Z)
• GPU Based Differential Evolution: New Insights and Comparative Study [7.5961910202572644]
  この研究は、GPUベースの微分進化アルゴリズムの文献における主要なアーキテクチャ選択についてレビューする。 新しいGPUベースの数値最適化ベンチマークを導入し、GPUベースのDEMアルゴリズムを評価し比較する。
  論文  参考訳（メタデータ） (2024-05-26T12:40:39Z)
• SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation [0.0]
  大型言語モデル(LLM)はその出現以来、重要なワークロードとなっている。 また、数十億のパラメータを持ち、大量のデータで訓練されているため、計算コストも高い。 近年、LLMのトレーニングと推論のための専用カーネルが開発されているため、ハードウェアリソースは可能な限り十分に活用されている。
  論文  参考訳（メタデータ） (2024-03-25T15:26:50Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Implementation of Parallel Simplified Swarm Optimization in CUDA [2.322689362836168]
  最適化コンピューティングでは、インテリジェントなSwarmアルゴリズム(SIAs)が並列化に適している。 本稿では,計算能力と汎用性を考慮したGPUに基づくSimplified Swarm Algorithm Optimization (PSSO)を提案する。 結果から,Nの次数による時間複雑性の低減が達成され,資源プリエンプションの問題は完全に回避された。
  論文  参考訳（メタデータ） (2021-10-01T00:15:45Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)
• Implementing a GPU-based parallel MAX-MIN Ant System [0.0]
  我々はGPUベースの並列MMASの実装を改善するための新しいアイデアについて論じる。 MMAS実装は、最先端のGPUベースおよびマルチコアCPUベースの並列ACO実装と競合することを示す。
  論文  参考訳（メタデータ） (2020-01-18T14:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。