論文の概要: Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel
high-dimensional Bayesian optimization framework on supercomputers
- arxiv url: http://arxiv.org/abs/2108.05969v1
- Date: Thu, 12 Aug 2021 21:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-16 13:10:48.554569
- Title: Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel
high-dimensional Bayesian optimization framework on supercomputers
- Title（参考訳）: Scalable3-BO: Big Data meets HPC - スーパーコンピュータ上のスケーラブルな非同期並列高次元ベイズ最適化フレームワーク
- Authors: Anh Tran
- Abstract要約: 本稿では,ビッグデータのサロゲートモデルとしてスパースGPを用いたScalable$3$-BOフレームワークを提案する。
我々は,100万データポイント,1万次元問題,HPC環境における20人の並行作業員を備えたScalable$3$-BOの能力を実証した。
- 参考スコア（独自算出の注目度）: 3.8073142980733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a flexible and powerful framework that is
suitable for computationally expensive simulation-based applications and
guarantees statistical convergence to the global optimum. While remaining as
one of the most popular optimization methods, its capability is hindered by the
size of data, the dimensionality of the considered problem, and the nature of
sequential optimization. These scalability issues are intertwined with each
other and must be tackled simultaneously. In this work, we propose the
Scalable$^3$-BO framework, which employs sparse GP as the underlying surrogate
model to scope with Big Data and is equipped with a random embedding to
efficiently optimize high-dimensional problems with low effective
dimensionality. The Scalable$^3$-BO framework is further leveraged with
asynchronous parallelization feature, which fully exploits the computational
resource on HPC within a computational budget. As a result, the proposed
Scalable$^3$-BO framework is scalable in three independent perspectives: with
respect to data size, dimensionality, and computational resource on HPC. The
goal of this work is to push the frontiers of BO beyond its well-known
scalability issues and minimize the wall-clock waiting time for optimizing
high-dimensional computationally expensive applications. We demonstrate the
capability of Scalable$^3$-BO with 1 million data points, 10,000-dimensional
problems, with 20 concurrent workers in an HPC environment.
- Abstract（参考訳）: ベイズ最適化(BO)は、計算コストの高いシミュレーションベースのアプリケーションに適した柔軟で強力なフレームワークであり、グローバルな最適化への統計的収束を保証する。
最も一般的な最適化手法の1つとして残っているが、その能力はデータのサイズ、考慮された問題の次元、逐次最適化の性質によって妨げられている。
これらのスケーラビリティ問題は相互に絡み合っており、同時に取り組まなければならない。
本研究では,Sparse GP を基礎となるサロゲートモデルとして活用してビッグデータを包含する Scalable$^3$-BO フレームワークを提案する。
Scalable$^3$-BOフレームワークは、計算予算内でHPC上の計算リソースを完全に活用する非同期並列化機能によってさらに活用される。
その結果、提案するScalable$^3$-BOフレームワークは、データサイズ、次元性、HPC上の計算資源の3つの独立した観点でスケーラブルである。
この研究の目的は、BOのフロンティアをよく知られたスケーラビリティの問題を超えて、高次元の計算コストのアプリケーションを最適化するための待ち時間を最小化することである。
我々は,100万データポイント,10,000次元問題,HPC環境における20人の並行作業員によるScalable$^3$-BOの能力を示す。
関連論文リスト
- Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality [0.0]
この呪文を破り、高次元景観におけるBOの線形時間複雑性を維持するための1次元再パラメータ化手法が提案されている。
SCOREと呼ばれるこの高速でスケーラブルなアプローチは、大域的に最小のニードル・ア・ヘイスタック最適化関数を見つけることができる。
論文 参考訳（メタデータ） (2024-06-18T14:28:29Z) - OTClean: Data Cleaning for Conditional Independence Violations using
Optimal Transport [51.6416022358349]
sysは、条件付き独立性(CI)制約下でのデータ修復に最適な輸送理論を利用するフレームワークである。
我々はSinkhornの行列スケーリングアルゴリズムにインスパイアされた反復アルゴリズムを開発し、高次元および大規模データを効率的に処理する。
論文 参考訳（メタデータ） (2024-03-04T18:23:55Z) - Decreasing the Computing Time of Bayesian Optimization using
Generalizable Memory Pruning [56.334116591082896]
本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。
BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。
すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
論文 参考訳（メタデータ） (2023-09-08T14:05:56Z) - Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。
我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。
我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
論文 参考訳（メタデータ） (2023-06-01T19:10:57Z) - Neuromorphic Bayesian Optimization in Lava [0.0]
オープンソースのLava Software Frameworkへのコントリビューションとして、Lava Bayesian Optimization (LavaBO)を紹介します。
LavaBOは、異種できめ細かな並列なインメモリニューロモルフィックコンピューティングアーキテクチャと互換性のあるBOシステムを開発するための最初のステップである。
バックプロパゲーションや進化学習を通じて、最先端のスパイクニューラルネットワークを訓練するといった複数の問題に対して、LavaBOシステムのアルゴリズム性能を評価する。
論文 参考訳（メタデータ） (2023-05-18T15:54:23Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。
これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。
我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
論文 参考訳（メタデータ） (2022-07-26T04:38:47Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - Simple and Scalable Parallelized Bayesian Optimization [2.512827436728378]
本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。
マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
論文 参考訳（メタデータ） (2020-06-24T10:25:27Z) - aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition
functions for constrained Bayesian optimization on high-performing computing
architecture [4.738678765150249]
非同期制約付きバッチ並列ベイズ最適化法を提案する。
この方法の利点は3倍である。
aphBO-2GP-3Bフレームワークは2つの高忠実度産業応用を用いて実証されている。
論文 参考訳（メタデータ） (2020-03-20T18:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。