論文の概要: Optimal Initialization of Batch Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2404.17997v1
• Date: Sat, 27 Apr 2024 20:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:12:38.694809
• Title: Optimal Initialization of Batch Bayesian Optimization
• Title（参考訳）: バッチベイズ最適化の最適初期化
• Authors: Jiuge Ren, David Sweet,
• Abstract要約: ランダムサンプリングではなく、最適化によりバッチを設計するバッチ設計獲得関数を提案する。 MTVは、設定の全体にわたって統合された品質評価後の見積もりのばらつきを最小限にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Field experiments and computer simulations are effective but time-consuming methods of measuring the quality of engineered systems at different settings. To reduce the total time required, experimenters may employ Bayesian optimization, which is parsimonious with measurements, and take measurements of multiple settings simultaneously, in a batch. In practice, experimenters use very few batches, thus, it is imperative that each batch be as informative as possible. Typically, the initial batch in a Batch Bayesian Optimization (BBO) is constructed from a quasi-random sample of settings values. We propose a batch-design acquisition function, Minimal Terminal Variance (MTV), that designs a batch by optimization rather than random sampling. MTV adapts a design criterion function from Design of Experiments, called I-Optimality, which minimizes the variance of the post-evaluation estimates of quality, integrated over the entire space of settings. MTV weights the integral by the probability that a setting is optimal, making it able to design not only an initial batch but all subsequent batches, as well. Applicability to both initialization and subsequent batches is novel among acquisition functions. Numerical experiments on test functions and simulators show that MTV compares favorably to other BBO methods.
• Abstract（参考訳）: フィールド実験や計算機シミュレーションは効果的だが、異なる設定でシステムの品質を測定するのに時間を要する。 必要な合計時間を短縮するために、実験者はベイズ最適化(Bayesian optimization)を用い、これは測定と類似しており、複数の設定を同時にバッチで測定することができる。 実際には、実験者はごく少数のバッチを使用するため、各バッチは可能な限り情報的であることが必須である。 通常、バッチベイズ最適化(BBO)の最初のバッチは、設定値の準ランダムなサンプルから構成される。 ランダムサンプリングではなく,最適化によってバッチを設計するバッチ設計獲得関数,Minimal Terminal Variance (MTV)を提案する。 MTVはI-Optimalityと呼ばれるI-Optimalityと呼ばれる設計基準に適応し、設定の全体にわたって統合された品質評価後の見積もりのばらつきを最小限にする。 MTVは、設定が最適である確率によって積分を重み付け、初期バッチだけでなく、その後のバッチも設計することができる。 初期化と後続のバッチの適用性は、獲得機能の中で新しいものである。 実験関数とシミュレータの数値実験により,MTVは他のBBO法と比較した。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• Combining Multi-Fidelity Modelling and Asynchronous Batch Bayesian Optimization [10.29946890434873]
  本稿では,マルチ忠実度と非同期バッチ手法を組み合わせたアルゴリズムを提案する。 本研究では,アルゴリズムの動作を実証的に研究し,単一忠実度バッチ法や複数忠実度シーケンシャル法より優れていることを示す。 そこで本研究では,コインセルを用いた実験により,ポーチセルの電極材料を最適性能に設計し,バッテリ性能を近似する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-11T12:02:40Z)
• Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
  ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。 確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
  論文  参考訳（メタデータ） (2022-09-10T18:10:15Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• SnAKe: Bayesian Optimization with Pathwise Exploration [9.807656882149319]
  本稿では,イテレーション間の大きな入力変更を行う場合,関数評価のコストが大幅に増大する,という新しい設定について考察する。 本稿では,この問題を考察し,適応接続サンプルを用いた逐次ベイズ最適化(SnAKe)を導入する。 将来のクエリを考慮し、入力コストを最小限に抑える最適化パスをプリエンプティブに構築することで、ソリューションを提供する。
  論文  参考訳（メタデータ） (2022-01-31T19:42:56Z)
• Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering [59.349057602266]
  変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。 内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。 FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
  論文  参考訳（メタデータ） (2021-09-13T08:31:59Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。