論文の概要: Stochastic Bayesian Optimization with Unknown Continuous Context Distribution via Kernel Density Estimation

• arxiv url: http://arxiv.org/abs/2312.10423v2
• Date: Thu, 21 Dec 2023 02:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 17:49:56.873944
• Title: Stochastic Bayesian Optimization with Unknown Continuous Context Distribution via Kernel Density Estimation
• Title（参考訳）: カーネル密度推定による未知連続文脈分布を用いた確率ベイズ最適化
• Authors: Xiaobin Huang, Lei Song, Ke Xue, Chao Qian
• Abstract要約: 本稿では,カーネル密度推定を用いて連続文脈変数の確率密度関数(PDF)をオンラインで学習する2つのアルゴリズムを提案する。 理論的結果は、両方のアルゴリズムが期待する目的に対して準線形ベイズ累積後悔を持つことを示している。
• 参考スコア（独自算出の注目度）: 28.413085548038932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a sample-efficient method and has been widely used for optimizing expensive black-box functions. Recently, there has been a considerable interest in BO literature in optimizing functions that are affected by context variable in the environment, which is uncontrollable by decision makers. In this paper, we focus on the optimization of functions' expectations over continuous context variable, subject to an unknown distribution. To address this problem, we propose two algorithms that employ kernel density estimation to learn the probability density function (PDF) of continuous context variable online. The first algorithm is simpler, which directly optimizes the expectation under the estimated PDF. Considering that the estimated PDF may have high estimation error when the true distribution is complicated, we further propose the second algorithm that optimizes the distributionally robust objective. Theoretical results demonstrate that both algorithms have sub-linear Bayesian cumulative regret on the expectation objective. Furthermore, we conduct numerical experiments to empirically demonstrate the effectiveness of our algorithms.
• Abstract（参考訳）: ベイズ最適化はサンプル効率の良い手法であり、高価なブラックボックス関数の最適化に広く使われている。 近年,意思決定者による制御不能な環境における文脈変数の影響を受けやすい関数の最適化におけるBO文献への関心が高まっている。 本稿では,未知の分布を考慮した連続的文脈変数に対する関数の期待値の最適化に焦点をあてる。 この問題を解決するために,カーネル密度推定を用いて連続文脈変数の確率密度関数(PDF)をオンラインで学習する2つのアルゴリズムを提案する。 最初のアルゴリズムは単純で、推定されたPDFで期待を直接最適化する。 真の分布が複雑である場合、推定されたpdfは高い推定誤差を持つ可能性があることを考慮し、分布にロバストな目標を最適化する第2のアルゴリズムを提案する。 理論的結果は、両方のアルゴリズムが期待する目的に対して準線形ベイズ累積後悔を持つことを示している。 さらに,本アルゴリズムの有効性を実証的に示す数値実験を行った。

関連論文リスト

• Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
  本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。 提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。 MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-31T03:29:31Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning [5.346298077607419]
  半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案する。 本研究では,未ラベル点サンプリングと固定サイズのプールを用いた2つの異なるシナリオにおいて,本手法といくつかの基本手法の実験結果を示す。
  論文  参考訳（メタデータ） (2023-05-24T23:01:56Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。 クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis [40.762447301225926]
  凸最適化における二重平均法を一般化する粒子二重平均法(PDA)を提案する。 提案手法の重要な応用は, 平均場系における2層ニューラルネットワークの最適化である。 平均場限界におけるニューラルネットワークはpdaによってグローバルに最適化できることを示す。
  論文  参考訳（メタデータ） (2020-12-31T07:07:32Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)
• Uncertainty Quantification for Bayesian Optimization [12.433600693422235]
  目的関数の最大点(あるいは値)の信頼領域を構築することにより、ベイズ最適化アルゴリズムの出力不確実性を評価する新しい手法を提案する。 我々の理論は、既存のシーケンシャルサンプリングポリシーと停止基準に対する統一的な不確実性定量化フレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-04T22:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。