論文の概要: Generalizing Bayesian Optimization with Decision-theoretic Entropies

• arxiv url: http://arxiv.org/abs/2210.01383v1
• Date: Tue, 4 Oct 2022 04:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 12:56:12.013764
• Title: Generalizing Bayesian Optimization with Decision-theoretic Entropies
• Title（参考訳）: 決定理論エントロピーによるベイズ最適化の一般化
• Authors: Willie Neiswanger, Lantao Yu, Shengjia Zhao, Chenlin Meng, Stefano Ermon
• Abstract要約: 統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
• 参考スコア（独自算出の注目度）: 102.82152945324381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a popular method for efficiently inferring optima of an expensive black-box function via a sequence of queries. Existing information-theoretic BO procedures aim to make queries that most reduce the uncertainty about optima, where the uncertainty is captured by Shannon entropy. However, an optimal measure of uncertainty would, ideally, factor in how we intend to use the inferred quantity in some downstream procedure. In this paper, we instead consider a generalization of Shannon entropy from work in statistical decision theory (DeGroot 1962, Rao 1984), which contains a broad class of uncertainty measures parameterized by a problem-specific loss function corresponding to a downstream task. We first show that special cases of this entropy lead to popular acquisition functions used in BO procedures such as knowledge gradient, expected improvement, and entropy search. We then show how alternative choices for the loss yield a flexible family of acquisition functions that can be customized for use in novel optimization settings. Additionally, we develop gradient-based methods to efficiently optimize our proposed family of acquisition functions, and demonstrate strong empirical performance on a diverse set of sequential decision making tasks, including variants of top-$k$ optimization, multi-level set estimation, and sequence search.
• Abstract（参考訳）: ベイズ最適化(英: bayesian optimization、bo)は、クエリのシーケンスを介して高価なブラックボックス関数のオプティマを効率的に推測する一般的な手法である。 既存の情報理論BO手順は、シャノンエントロピーによって不確実性が捕捉されるオプティマに関する不確実性を最も少なくするクエリを作成することを目的としている。 しかしながら、不確実性の最適尺度は、理想的には、下流の手順で推測された量を使う方法に影響を及ぼす。 そこで本論文では,統計的決定論(DeGroot 1962, Rao 1984)におけるシャノンエントロピーの一般化について考察する。 まず, このエントロピーの特殊な事例は, 知識勾配, 期待された改善, エントロピー探索などのBO手順で広く用いられている獲得関数につながることを示す。 次に、新しい最適化設定で使用するためにカスタマイズできる柔軟な獲得関数群を、損失に対する代替選択肢がいかに生み出すかを示す。 さらに,提案する獲得関数群を効率的に最適化するための勾配ベース手法を開発し,上位$k$最適化,マルチレベル集合推定,シーケンス探索などを含む多様な逐次的意思決定タスクにおいて,強い経験的性能を示す。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
  この研究はデータ駆動逆最適化(IO)に対処する。 目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
  論文  参考訳（メタデータ） (2024-05-28T06:52:17Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Principled Preferential Bayesian Optimization [22.269732173306192]
  優先ベイズ最適化(BO)の問題について検討する。 一対の候補解よりも優先的なフィードバックしか持たないブラックボックス関数を最適化することを目指している。 この問題を解決するために,効率的な計算手法を用いた楽観的アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-08T02:57:47Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
  コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。 本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。 多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
  論文  参考訳（メタデータ） (2022-10-22T17:01:05Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。