論文の概要: New Paradigms for Exploiting Parallel Experiments in Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2210.01071v2
• Date: Tue, 4 Oct 2022 16:54:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 10:32:33.338586
• Title: New Paradigms for Exploiting Parallel Experiments in Bayesian Optimization
• Title（参考訳）: ベイズ最適化における並列実験の新たなパラダイム
• Authors: Leonardo D. Gonz\'alez and Victor M. Zavala
• Abstract要約: 本稿では,システムの構造を利用して設計空間を分割する並列BOパラダイムを提案する。 具体的には,性能関数のレベルセットに従って設計空間を分割する手法を提案する。 以上の結果から,本手法は検索時間を大幅に削減し,グローバルな(ローカルではなく)ソリューションを見つける可能性を高めることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.
• Abstract（参考訳）: ベイズ最適化(BO)は閉ループ実験設計とブラックボックス最適化において最も効果的な手法の一つである。 しかし、BOの鍵となる制限は、本質的にシーケンシャルなアルゴリズムであり(ラウンド毎に1つの実験が提案されている)、したがって高スループット(並列)な実験を直接利用できないことである。 並列実験の活用を可能にするために、boフレームワークの多様な変更が文献に提案されているが、そのようなアプローチは並列化の程度に制限があり、冗長な実験(リソースの浪費と潜在的にパフォーマンスを損なう)につながる可能性がある。 本稿では,設計空間を分割するためにシステム構造を利用する新しい並列boパラダイムを提案する。 具体的には,性能関数のレベルセットに従って設計空間を分割する手法と,得られた性能関数の部分分離構造を利用する手法を提案する。 本研究は,リアクトルケーススタディを用いて広範な数値実験を行い,本論文で報告されている様々な最先端並列アルゴリズムに対するこれらの手法の有効性を検証した。 計算結果から,本手法は探索時間を大幅に削減し,グローバルな(局所的な)解を見つける確率を増大させることが示された。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Bayesian Experimental Design via Contrastive Diffusions [2.2186678387006435]
  実験設計(BOED)は、一連の実験の実行コストを削減する強力なツールである。 コスト効率の良い後続分布を導入し,EIGコントラストへのトラクタアクセスを提供する。 生成モデルをBOEDフレームワークに組み込むことで、以前は非現実的であったシナリオにおいて、そのスコープと使用範囲を広げる。
  論文  参考訳（メタデータ） (2024-10-15T17:53:07Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Differentiable Multi-Target Causal Bayesian Experimental Design [43.76697029708785]
  本稿では,ベイズ最適設計問題に対する勾配に基づくアプローチを導入し,バッチ環境で因果モデルを学習する。 既存の手法は、一連の実験を構築するためにグリーディ近似に依存している。 そこで本稿では,最適介入対象ペアの集合を取得するための,概念的にシンプルな勾配に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T11:32:59Z)
• Optimizing Sequential Experimental Design with Deep Reinforcement Learning [7.589363597086081]
  我々は、ポリシーを最適化する問題は、マルコフ決定プロセス(MDP)の解決に還元できることを示した。 また,本手法はデプロイ時に計算効率が高く,連続的かつ離散的な設計空間上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-02-02T00:23:05Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
  本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。 この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
  論文  参考訳（メタデータ） (2020-08-10T09:42:59Z)
• Simple and Scalable Parallelized Bayesian Optimization [2.512827436728378]
  本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。 マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-06-24T10:25:27Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Incorporating Expert Prior Knowledge into Experimental Design via Posterior Sampling [58.56638141701966]
  実験者は、グローバルな最適な場所に関する知識を得ることができる。 グローバル最適化に関する専門家の事前知識をベイズ最適化に組み込む方法は不明である。 効率の良いベイズ最適化手法は、大域的最適の後方分布の後方サンプリングによって提案されている。
  論文  参考訳（メタデータ） (2020-02-26T01:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。