論文の概要: Distributionally Robust Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2002.09038v3
- Date: Sun, 22 Mar 2020 10:40:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 07:09:01.444671
- Title: Distributionally Robust Bayesian Optimization
- Title（参考訳）: 分布ロバストベイズ最適化
- Authors: Johannes Kirschner, Ilija Bogunovic, Stefanie Jegelka, Andreas Krause
- Abstract要約: そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
- 参考スコア（独自算出の注目度）: 121.71766171427433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robustness to distributional shift is one of the key challenges of
contemporary machine learning. Attaining such robustness is the goal of
distributionally robust optimization, which seeks a solution to an optimization
problem that is worst-case robust under a specified distributional shift of an
uncontrolled covariate. In this paper, we study such a problem when the
distributional shift is measured via the maximum mean discrepancy (MMD). For
the setting of zeroth-order, noisy optimization, we present a novel
distributionally robust Bayesian optimization algorithm (DRBO). Our algorithm
provably obtains sub-linear robust regret in various settings that differ in
how the uncertain covariate is observed. We demonstrate the robust performance
of our method on both synthetic and real-world benchmarks.
- Abstract（参考訳）: 分散シフトへの堅牢性は、現代の機械学習の重要な課題の1つだ。
このようなロバスト性を達成することが分布的に堅牢な最適化の目標であり、これは制御されていない共変量の特定の分布シフトの下で最悪のケースでロバストな最適化問題の解を求めるものである。
本稿では,分布シフトを最大平均誤差(MMD)を用いて測定する場合に,そのような問題を考察する。
ゼロ階, 雑音の最適化を行うため, 分布に頑健なベイズ最適化アルゴリズム(DRBO)を提案する。
本アルゴリズムは,不確定な共変量がどのように観測されるかによって異なる様々な設定において,線形ロバストな後悔が得られる。
本手法は合成ベンチマークと実世界のベンチマークの両方においてロバストな性能を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。
提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。
MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2023-10-31T03:29:31Z) - Robust Bayesian Satisficing [8.65552688277074]
そこで我々は,ノイズの多いブラックボックス最適化のためのロバスト充足アルゴリズムRoBOSを提案する。
本アルゴリズムは,分布シフトの量に対する一定の仮定の下で,線形的寛大な後悔を保証する。
さらに,我々のアルゴリズムが分布シフトの量に依存しない線形上界を達成できるような,頑健な満足な後悔という,より弱い後悔の概念を定義した。
論文 参考訳（メタデータ） (2023-08-16T11:31:18Z) - Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2023-07-25T01:56:57Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。