論文の概要: Information-theoretic Bayesian Optimization: Survey and Tutorial
- arxiv url: http://arxiv.org/abs/2502.06789v1
- Date: Wed, 22 Jan 2025 10:54:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-16 05:32:54.220170
- Title: Information-theoretic Bayesian Optimization: Survey and Tutorial
- Title（参考訳）: 情報理論ベイズ最適化 : 調査とチュートリアル
- Authors: Eduardo C. Garrido-Merchán,
- Abstract要約: 本稿では,情報理論的獲得関数について述べる。
また,情報理論の獲得関数を,多目的,制約付き,非明視的,多面的,並列,非同期といった複雑な最適化シナリオに適応させる方法について述べる。
- 参考スコア（独自算出の注目度）: 2.3931689873603603
- License:
- Abstract: Several scenarios require the optimization of non-convex black-box functions, that are noisy expensive to evaluate functions with unknown analytical expression, whose gradients are hence not accessible. For example, the hyper-parameter tuning problem of machine learning models. Bayesian optimization is a class of methods with state-of-the-art performance delivering a solution to this problem in real scenarios. It uses an iterative process that employs a probabilistic surrogate model, typically a Gaussian process, of the objective function to be optimized computing a posterior predictive distribution of the black-box function. Based on the information given by this posterior predictive distribution, Bayesian optimization includes the computation of an acquisition function that represents, for every input space point, the utility of evaluating that point in the next iteraiton if the objective of the process is to retrieve a global extremum. This paper is a survey of the information theoretical acquisition functions, whose performance typically outperforms the rest of acquisition functions. The main concepts of the field of information theory are also described in detail to make the reader aware of why information theory acquisition functions deliver great results in Bayesian optimization and how can we approximate them when they are intractable. We also cover how information theory acquisition functions can be adapted to complex optimization scenarios such as the multi-objective, constrained, non-myopic, multi-fidelity, parallel and asynchronous settings and provide further lines of research.
- Abstract（参考訳）: いくつかのシナリオでは、非凸ブラックボックス関数の最適化が必要であり、未知の分析式を持つ関数を評価するのにノイズがかかるため、勾配はアクセスできない。
例えば、機械学習モデルのハイパーパラメータチューニング問題である。
ベイズ最適化(ベイズ最適化、英: Bayesian optimization)は、実際のシナリオにおいてこの問題に対する解決策を提供する最先端のパフォーマンスを持つメソッドのクラスである。
これは、ブラックボックス関数の後方予測分布を最適化する目的関数の確率的サロゲートモデル(典型的にはガウス過程)を使用する反復的プロセスを使用する。
この後続の予測分布から得られる情報に基づいて、ベイズ最適化は、全ての入力空間点に対して、そのプロセスの目的がグローバルな極限を検索することである場合、次のイテレートンにおけるその点を評価するユーティリティを表す取得関数の計算を含む。
本稿では,情報理論的獲得関数の探索を行い,その性能が他の獲得関数よりも優れていることを示す。
情報理論の分野における主要な概念は、情報理論の獲得関数がベイズ最適化においてなぜ大きな結果をもたらすのかを読者に知らせるためにも詳細に述べられている。
また、情報理論の獲得関数が、多目的、制約付き、非明視的、多重忠実性、並列および非同期設定といった複雑な最適化シナリオにどのように適応できるかを取り上げ、さらなる研究ラインを提供する。
関連論文リスト
- Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。
我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
論文 参考訳（メタデータ） (2024-10-22T10:56:52Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Bayesian Optimization with Informative Covariance [13.113313427848828]
探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。
提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-08-04T15:05:11Z) - On the development of a Bayesian optimisation framework for complex
unknown systems [11.066706766632578]
本稿では, ベイズ最適化アルゴリズムを様々な合成試験関数に対して実験的に検討し, 比較する。
取得関数の選択とトレーニングサンプル数,取得関数の正確な計算,モンテカルロに基づくアプローチについて検討する。
論文 参考訳（メタデータ） (2022-07-19T09:50:34Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳（メタデータ） (2021-08-27T19:03:32Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Are we Forgetting about Compositional Optimisers in Bayesian
Optimisation? [66.39551991177542]
本稿では,グローバル最適化のためのサンプル手法を提案する。
この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。
3958実験における機能最適化手法の実証的利点を強調する。
論文 参考訳（メタデータ） (2020-12-15T12:18:38Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Composition of kernel and acquisition functions for High Dimensional
Bayesian Optimization [0.1749935196721634]
目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。
このap-proachは確率的代理モデルの学習/更新をより効率的にする。
都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
論文 参考訳（メタデータ） (2020-03-09T15:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。