論文の概要: Targeted Variance Reduction: Robust Bayesian Optimization of Black-Box
Simulators with Noise Parameters
- arxiv url: http://arxiv.org/abs/2403.03816v1
- Date: Wed, 6 Mar 2024 16:03:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:38:47.475376
- Title: Targeted Variance Reduction: Robust Bayesian Optimization of Black-Box
Simulators with Noise Parameters
- Title（参考訳）: 目標分散低減:雑音パラメータを持つブラックボックスシミュレータのロバストベイズ最適化
- Authors: John Joshua Miller, Simon Mak
- Abstract要約: 本稿では,TVR(Targeted Variance Reduction)と呼ばれるベイズ最適化手法を提案する。
TVR は $(mathbfx,boldsymboltheta)$ 以上の新しい共同獲得関数を利用しており、これは所望の改善領域内の目的に対する分散還元を目標としている。
自動車用ブレーキディスクの高剛性設計への一組の数値実験において,TVRの性能向上を実証した。
- 参考スコア（独自算出の注目度）: 1.7404865362620803
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimization of a black-box simulator over control parameters
$\mathbf{x}$ arises in a myriad of scientific applications. In such
applications, the simulator often takes the form
$f(\mathbf{x},\boldsymbol{\theta})$, where $\boldsymbol{\theta}$ are parameters
that are uncertain in practice. Robust optimization aims to optimize the
objective $\mathbb{E}[f(\mathbf{x},\boldsymbol{\Theta})]$, where
$\boldsymbol{\Theta} \sim \mathcal{P}$ is a random variable that models
uncertainty on $\boldsymbol{\theta}$. For this, existing black-box methods
typically employ a two-stage approach for selecting the next point
$(\mathbf{x},\boldsymbol{\theta})$, where $\mathbf{x}$ and
$\boldsymbol{\theta}$ are optimized separately via different acquisition
functions. As such, these approaches do not employ a joint acquisition over
$(\mathbf{x},\boldsymbol{\theta})$, and thus may fail to fully exploit
control-to-noise interactions for effective robust optimization. To address
this, we propose a new Bayesian optimization method called Targeted Variance
Reduction (TVR). The TVR leverages a novel joint acquisition function over
$(\mathbf{x},\boldsymbol{\theta})$, which targets variance reduction on the
objective within the desired region of improvement. Under a Gaussian process
surrogate on $f$, the TVR acquisition can be evaluated in closed form, and
reveals an insightful exploration-exploitation-precision trade-off for robust
black-box optimization. The TVR can further accommodate a broad class of
non-Gaussian distributions on $\mathcal{P}$ via a careful integration of
normalizing flows. We demonstrate the improved performance of TVR over the
state-of-the-art in a suite of numerical experiments and an application to the
robust design of automobile brake discs under operational uncertainty.
- Abstract（参考訳）: 制御パラメータ $\mathbf{x}$ 上のブラックボックスシミュレータの最適化は、数多くの科学応用において生じる。
そのようなアプリケーションでは、シミュレータは $f(\mathbf{x},\boldsymbol{\theta})$ という形式を取ることが多く、$\boldsymbol{\theta}$ は実際には不確実なパラメータである。
ロバスト最適化は目的の $\mathbb{E}[f(\mathbf{x},\boldsymbol{\Theta})]$ を最適化することを目的としており、$\boldsymbol{\Theta} \sim \mathcal{P}$ は $\boldsymbol{\theta}$ 上で不確実性をモデル化するランダム変数である。
このために、既存のブラックボックス法は、通常、次の点 $(\mathbf{x},\boldsymbol{\theta})$ を選択するために2段階のアプローチを採用し、ここで$\mathbf{x}$ と $\boldsymbol{\theta}$ は異なる取得関数によって別々に最適化される。
したがって、これらのアプローチは$(\mathbf{x},\boldsymbol{\theta})$以上の共同獲得を採用せず、効率的なロバスト最適化のために制御-雑音相互作用を完全に活用できない可能性がある。
そこで本稿では,Targeted Variance Reduction (TVR) と呼ばれるベイズ最適化手法を提案する。
TVR は $(\mathbf{x},\boldsymbol{\theta})$ よりも新しい共同獲得関数を利用しており、これは改善の望ましい領域における目的に対する分散還元を目標としている。
f$ のガウス過程の下では、tvr の買収は閉じた形で評価することができ、ロバストなブラックボックス最適化のための洞察に富んだ探索・探索・予測トレードオフを明らかにすることができる。
TVRはさらに、正規化フローの注意深い積分により$\mathcal{P}$上のガウス分布の幅広いクラスを許容することができる。
数値実験によるTVRの性能向上と運転不確実性を考慮した自動車ブレーキディスクのロバスト設計への応用について述べる。
関連論文リスト
- Near-Optimal Streaming Heavy-Tailed Statistical Estimation with Clipped SGD [16.019880089338383]
Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsfTr(Sigma)+sqrtmathsff
論文 参考訳（メタデータ） (2024-10-26T10:14:17Z) - Robust Distribution Learning with Local and Global Adversarial Corruptions [17.22168727622332]
誤差を$sqrtvarepsilon k + rho + tildeO(dsqrtkn-1/(k lor2)$で有界な共分散を持つ場合、効率的な有限サンプルアルゴリズムを開発する。
我々の効率的な手順は、理想的だが難解な2-ワッサーシュタイン射影推定器の新たなトレースノルム近似に依存する。
論文 参考訳（メタデータ） (2024-06-10T17:48:36Z) - An Oblivious Stochastic Composite Optimization Algorithm for Eigenvalue
Optimization Problems [76.2042837251496]
相補的な合成条件に基づく2つの難解なミラー降下アルゴリズムを導入する。
注目すべきは、どちらのアルゴリズムも、目的関数のリプシッツ定数や滑らかさに関する事前の知識なしで機能する。
本稿では,大規模半確定プログラム上での手法の効率性とロバスト性を示す。
論文 参考訳（メタデータ） (2023-06-30T08:34:29Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Randomized Exploration for Reinforcement Learning with General Value
Function Approximation [122.70803181751135]
本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。
提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。
我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
論文 参考訳（メタデータ） (2021-06-15T02:23:07Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Bayesian Optimization of Risk Measures [7.799648230758491]
我々は、$rho[F(x, W) ]$ という形の目的関数のベイズ最適化を考える。
目的関数の構造を利用してサンプリング効率を大幅に向上する新しいベイズ最適化アルゴリズム群を提案する。
論文 参考訳（メタデータ） (2020-07-10T18:20:46Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - Stochastic Recursive Gradient Descent Ascent for Stochastic
Nonconvex-Strongly-Concave Minimax Problems [36.645753881826955]
本稿では,分散を利用してより効率的に推定できるRecurEnti Ascent(SREDA)という新しい手法を提案する。
この方法はこの問題でよく知られている。
論文 参考訳（メタデータ） (2020-01-11T09:05:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。