論文の概要: A Corrected Expected Improvement Acquisition Function Under Noisy Observations

• arxiv url: http://arxiv.org/abs/2310.05166v3
• Date: Mon, 13 Nov 2023 19:05:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 18:14:35.741796
• Title: A Corrected Expected Improvement Acquisition Function Under Noisy Observations
• Title（参考訳）: ノイズ観測における改善獲得関数の補正
• Authors: Han Zhou and Xingchen Ma and Matthew B Blaschko
• Abstract要約: 期待される改善の順序 (EI) はベイズ最適化において最も広く用いられている政策の一つである。 既存の解に関する不確実性は、多くの解析的EI型法で無視されることが多い。 本稿では,ガウス過程(GP)モデルによって提供される共分散情報を組み込むことで,その閉形式表現を補正するEIの修正を提案する。
• 参考スコア（独自算出の注目度）: 22.63212972670109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential maximization of expected improvement (EI) is one of the most widely used policies in Bayesian optimization because of its simplicity and ability to handle noisy observations. In particular, the improvement function often uses the best posterior mean as the best incumbent in noisy settings. However, the uncertainty associated with the incumbent solution is often neglected in many analytic EI-type methods: a closed-form acquisition function is derived in the noise-free setting, but then applied to the setting with noisy observations. To address this limitation, we propose a modification of EI that corrects its closed-form expression by incorporating the covariance information provided by the Gaussian Process (GP) model. This acquisition function specializes to the classical noise-free result, and we argue should replace that formula in Bayesian optimization software packages, tutorials, and textbooks. This enhanced acquisition provides good generality for noisy and noiseless settings. We show that our method achieves a sublinear convergence rate on the cumulative regret bound under heteroscedastic observation noise. Our empirical results demonstrate that our proposed acquisition function can outperform EI in the presence of noisy observations on benchmark functions for black-box optimization, as well as on parameter search for neural network model compression.
• Abstract（参考訳）: 期待される改善の逐次最大化(EI)は、ベイズ最適化において、ノイズの多い観測を扱うための単純さと能力のために最も広く使われている政策の一つである。 特に、改善関数は、ノイズの多い設定において、最良の後部平均を最も多く使用します。 しかし、既存の解に付随する不確実性は、多くの分析的ei型手法では無視されることが多い: 閉形式獲得関数はノイズのない設定で導かれるが、ノイズの観測を伴う設定に適用される。 この制限に対処するために,ガウス過程(GP)モデルによって提供される共分散情報を組み込んで,その閉形式表現を補正するEIの修正を提案する。 この取得関数は古典的なノイズフリーな結果に特化しており、ベイズ最適化ソフトウェアパッケージ、チュートリアル、教科書にその公式を置き換えるべきである。 この強化された取得は、ノイズやノイズのない設定に対して優れた一般化を提供する。 本研究では,不連続観測雑音下での累積残差に対するサブ線形収束率を求める。 実験の結果,提案する獲得関数は,ブラックボックス最適化のためのベンチマーク関数やニューラルネットワークモデル圧縮のパラメータ探索において,ノイズ観測の存在下ではeiよりも優れることがわかった。

関連論文リスト

• Robust Gaussian Processes via Relevance Pursuit [17.39376866275623]
  本稿では,データポイント固有ノイズレベルを推定することにより,スパースアウトレーヤに対するロバスト性を実現するGPモデルを提案する。 我々は,データポイント固有ノイズ分散において,関連する対数限界確率が強く抑制されるようなパラメータ化が可能であることを,驚くべきことに示している。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• Gradient Normalization with(out) Clipping Ensures Convergence of Nonconvex SGD under Heavy-Tailed Noise with Improved Results [60.92029979853314]
  本稿では,NSGDCを含まない勾配正規化(NSGDC-VR)について検討する。 両アルゴリズムの理論的結果の大幅な改善について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• An Adaptive Re-evaluation Method for Evolution Strategy under Additive Noise [3.92625489118339]
  本稿では,加法的なガウスホワイトノイズによる関数値の最適再評価数を適応的に選択する手法を提案する。 実験では,CMA-ESのノイズハンドリング手法を人工的なテスト関数の集合上で実験的に比較した。
  論文  参考訳（メタデータ） (2024-09-25T09:10:21Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models [15.817569026827451]
  一般化線形モデル(GLM)の推定と推定を規則化するAdaPtive Noise Augmentation (PANDA) 手法を提案する。 シミュレーションおよび実生活データにおいて,同一タイプの正則化器の既存手法に対して,PANDAが優れているか類似した性能を示す。
  論文  参考訳（メタデータ） (2022-04-18T22:02:37Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Square Root Principal Component Pursuit: Tuning-Free Noisy Robust Matrix Recovery [8.581512812219737]
  本稿では,ノイズや外周波で劣化した観測結果から低ランク行列を復元する新しい枠組みを提案する。 平方根のラッソにインスパイアされたこの新しい定式化は、ノイズレベルに関する事前の知識を必要としない。 正規化パラメータの1つの普遍的な選択は、(事前未知の)雑音レベルに比例した再構成誤差を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-17T02:28:11Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。