論文の概要: Variational Entropy Search for Adjusting Expected Improvement
- arxiv url: http://arxiv.org/abs/2402.11345v1
- Date: Sat, 17 Feb 2024 17:37:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 21:46:07.546870
- Title: Variational Entropy Search for Adjusting Expected Improvement
- Title（参考訳）: 変動エントロピー探索による期待改善の調整
- Authors: Nuojin Cheng and Stephen Becker
- Abstract要約: 期待改善(EI)はブラックボックス機能において最もよく利用される取得機能である。
本研究では,情報理論の原理を取り入れた変分エントロピー探索法とVES-Gammaアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization is a widely used technique for optimizing black-box
functions, with Expected Improvement (EI) being the most commonly utilized
acquisition function in this domain. While EI is often viewed as distinct from
other information-theoretic acquisition functions, such as entropy search (ES)
and max-value entropy search (MES), our work reveals that EI can be considered
a special case of MES when approached through variational inference (VI). In
this context, we have developed the Variational Entropy Search (VES)
methodology and the VES-Gamma algorithm, which adapts EI by incorporating
principles from information-theoretic concepts. The efficacy of VES-Gamma is
demonstrated across a variety of test functions and read datasets, highlighting
its theoretical and practical utilities in Bayesian optimization scenarios.
- Abstract（参考訳）: ベイズ最適化はブラックボックス関数の最適化に広く用いられている手法であり、この領域で最もよく利用される取得関数である期待改善(EI)が用いられる。
EI はエントロピー探索 (ES) や最大値エントロピー探索 (MES) など他の情報理論的獲得関数と区別されることが多いが,本研究は変動推論 (VI) を通して EI が MES の特別な場合と見なせることを示した。
この文脈で我々は,情報理論的な概念から原理を取り込んでeiを適用する変分エントロピー探索(ves)法とves-gammaアルゴリズムを開発した。
VES-Gammaの有効性は、ベイズ最適化シナリオにおける理論的および実用性を強調し、様々なテスト関数と読み取りデータセットで実証されている。
関連論文リスト
- Benchmarking Optimizers for Qumode State Preparation with Variational Quantum Algorithms [10.941053143198092]
この分野の進歩と潜在的な応用により、クォーモックへの関心が高まっている。
本稿では,変分量子アルゴリズムを用いて状態準備に使用する各種パラメータのパフォーマンスベンチマークを提供することにより,このギャップを埋めることを目的とする。
論文 参考訳（メタデータ） (2024-05-07T17:15:58Z) - Unexpected Improvements to Expected Improvement for Bayesian
Optimization [23.207497480389208]
提案するLogEIは,メンバが標準値と同一あるいはほぼ等しい最適値を持つが,数値的最適化が極めて容易な,新たな獲得関数群である。
実験結果から,LogEIファミリーの獲得関数は,標準関数の最適化性能を大幅に向上し,最近の最先端の獲得関数の性能に匹敵する結果が得られた。
論文 参考訳（メタデータ） (2023-10-31T17:59:56Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。
その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
論文 参考訳（メタデータ） (2022-02-28T08:11:02Z) - Fourier Representations for Black-Box Optimization over Categorical
Variables [34.0277529502051]
そこで本研究では,ブラックボックス評価のためのサロゲートモデルと組み合わせた既存手法を提案する。
このような表現を学習するために、サロゲートモデルを更新するための2つの異なる設定を検討する。
合成ベンチマークと実世界のRNA配列最適化および設計問題の数値実験により,提案手法の表現力を示す。
論文 参考訳（メタデータ） (2022-02-08T08:14:58Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。