論文の概要: A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2501.18756v1
• Date: Thu, 30 Jan 2025 21:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:48.297257
• Title: A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization
• Title（参考訳）: エントロピー探索のための統一フレームワークとベイズ最適化の改善を期待する
• Authors: Nuojin Cheng, Leonard Papenmeier, Stephen Becker, Luigi Nardi,
• Abstract要約: 本稿では,EIと情報理論獲得関数が従来認識されていたよりも密接な関係があることを明らかにする統一理論フレームワークである変分エントロピー探索を導入する。 本稿では,EI と MES の強度のバランスをとる新しい獲得関数 VES-Gamma を提案する。
• 参考スコア（独自算出の注目度）: 6.745285924097932
• License:
• Abstract: Bayesian optimization is a widely used method for optimizing expensive black-box functions, with Expected Improvement being one of the most commonly used acquisition functions. In contrast, information-theoretic acquisition functions aim to reduce uncertainty about the function's optimum and are often considered fundamentally distinct from EI. In this work, we challenge this prevailing perspective by introducing a unified theoretical framework, Variational Entropy Search, which reveals that EI and information-theoretic acquisition functions are more closely related than previously recognized. We demonstrate that EI can be interpreted as a variational inference approximation of the popular information-theoretic acquisition function, named Max-value Entropy Search. Building on this insight, we propose VES-Gamma, a novel acquisition function that balances the strengths of EI and MES. Extensive empirical evaluations across both low- and high-dimensional synthetic and real-world benchmarks demonstrate that VES-Gamma is competitive with state-of-the-art acquisition functions and in many cases outperforms EI and MES.
• Abstract（参考訳）: ベイズ最適化は高価なブラックボックス関数を最適化するために広く用いられている手法であり、期待された改善は最もよく使われる取得関数の1つである。 対照的に、情報理論獲得関数は、関数の最適性に関する不確実性を減らし、しばしばEIと根本的に異なると考えられる。 本研究では,EIと情報理論獲得関数が従来認識されていたよりも密接な関係にあることを示す,統合理論の枠組みである変分エントロピー探索を導入することで,この一般的な視点に挑戦する。 我々は,EIを最大値エントロピー探索(Max-value Entropy Search)という,一般的な情報理論獲得関数の変分推論近似として解釈できることを実証した。 この知見に基づいて,EI と MES の強度のバランスをとる新しい獲得関数 VES-Gamma を提案する。 VES-Gammaは最先端の取得機能と競合しており、多くの場合、EIやMESよりも優れています。

関連論文リスト

• Variational Entropy Search for Adjusting Expected Improvement [3.04585143845864]
  期待改善(EI)はブラックボックス機能において最もよく利用される取得機能である。 本研究では,情報理論の原理を取り入れた変分エントロピー探索法とVES-Gammaアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-17T17:37:53Z)
• Unexpected Improvements to Expected Improvement for Bayesian Optimization [21.901803477674264]
  提案するLogEIは,メンバが標準値と同一あるいはほぼ等しい最適値を持つが,数値的最適化が極めて容易な,新たな獲得関数群である。 実験結果から,LogEIファミリーの獲得関数は,標準関数の最適化性能を大幅に向上し,最近の最先端の獲得関数の性能に匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2023-10-31T17:59:56Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Joint Entropy Search For Maximally-Informed Bayesian Optimization [38.10887297038352]
  本稿では,入力空間と出力空間の両面における最適確率密度のエントロピーを考慮した情報理論獲得関数を提案する。 Joint Entropy Search (JES) は優れた意思決定能力を示し、幅広いタスクにまたがる情報理論的アプローチの最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-06-09T21:19:07Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。