論文の概要: Optimal Initialization of Batch Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2404.17997v1
• Date: Sat, 27 Apr 2024 20:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:12:38.694809
• Title: Optimal Initialization of Batch Bayesian Optimization
• Title（参考訳）: バッチベイズ最適化の最適初期化
• Authors: Jiuge Ren, David Sweet,
• Abstract要約: ランダムサンプリングではなく、最適化によりバッチを設計するバッチ設計獲得関数を提案する。 MTVは、設定の全体にわたって統合された品質評価後の見積もりのばらつきを最小限にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Field experiments and computer simulations are effective but time-consuming methods of measuring the quality of engineered systems at different settings. To reduce the total time required, experimenters may employ Bayesian optimization, which is parsimonious with measurements, and take measurements of multiple settings simultaneously, in a batch. In practice, experimenters use very few batches, thus, it is imperative that each batch be as informative as possible. Typically, the initial batch in a Batch Bayesian Optimization (BBO) is constructed from a quasi-random sample of settings values. We propose a batch-design acquisition function, Minimal Terminal Variance (MTV), that designs a batch by optimization rather than random sampling. MTV adapts a design criterion function from Design of Experiments, called I-Optimality, which minimizes the variance of the post-evaluation estimates of quality, integrated over the entire space of settings. MTV weights the integral by the probability that a setting is optimal, making it able to design not only an initial batch but all subsequent batches, as well. Applicability to both initialization and subsequent batches is novel among acquisition functions. Numerical experiments on test functions and simulators show that MTV compares favorably to other BBO methods.
• Abstract（参考訳）: フィールド実験や計算機シミュレーションは効果的だが、異なる設定でシステムの品質を測定するのに時間を要する。 必要な合計時間を短縮するために、実験者はベイズ最適化(Bayesian optimization)を用い、これは測定と類似しており、複数の設定を同時にバッチで測定することができる。 実際には、実験者はごく少数のバッチを使用するため、各バッチは可能な限り情報的であることが必須である。 通常、バッチベイズ最適化(BBO)の最初のバッチは、設定値の準ランダムなサンプルから構成される。 ランダムサンプリングではなく,最適化によってバッチを設計するバッチ設計獲得関数,Minimal Terminal Variance (MTV)を提案する。 MTVはI-Optimalityと呼ばれるI-Optimalityと呼ばれる設計基準に適応し、設定の全体にわたって統合された品質評価後の見積もりのばらつきを最小限にする。 MTVは、設定が最適である確率によって積分を重み付け、初期バッチだけでなく、その後のバッチも設計することができる。 初期化と後続のバッチの適用性は、獲得機能の中で新しいものである。 実験関数とシミュレータの数値実験により,MTVは他のBBO法と比較した。

関連論文リスト

• Batch Bayesian Optimization via Expected Subspace Improvement [0.0]
  本稿では,ベイズ最適化をバッチ評価に拡張するためのシンプルで効率的な手法を提案する。 提案手法は,逐次ベイズ最適化アルゴリズムと比較した場合,ニア線形高速化を実現することができる。
  論文  参考訳（メタデータ） (2024-11-25T09:14:09Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Scaling LLM Inference with Optimized Sample Compute Allocation [56.524278187351925]
  我々は、異なる推論構成の最適な混合を見つけるアルゴリズムであるOSCAを提案する。 実験の結果,学習した混合アロケーションでは,最高の単一構成よりも精度がよいことがわかった。 OSCAはシングルターンタスク以外のエージェント処理にも有効であることが示されており、デフォルト設定よりも3倍少ない計算でSWE-Benchの精度が向上している。
  論文  参考訳（メタデータ） (2024-10-29T19:17:55Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• Combining Multi-Fidelity Modelling and Asynchronous Batch Bayesian Optimization [10.29946890434873]
  本稿では,マルチ忠実度と非同期バッチ手法を組み合わせたアルゴリズムを提案する。 本研究では,アルゴリズムの動作を実証的に研究し,単一忠実度バッチ法や複数忠実度シーケンシャル法より優れていることを示す。 そこで本研究では,コインセルを用いた実験により,ポーチセルの電極材料を最適性能に設計し,バッテリ性能を近似する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-11T12:02:40Z)
• Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
  ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。 確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
  論文  参考訳（メタデータ） (2022-09-10T18:10:15Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering [59.349057602266]
  変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。 内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。 FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
  論文  参考訳（メタデータ） (2021-09-13T08:31:59Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。