論文の概要: Distributionally Robust Bayesian Optimization with $\phi$-divergences
- arxiv url: http://arxiv.org/abs/2203.02128v4
- Date: Fri, 19 May 2023 02:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 20:13:16.797164
- Title: Distributionally Robust Bayesian Optimization with $\phi$-divergences
- Title（参考訳）: $\phi$-divergences を用いた分布ロバストベイズ最適化
- Authors: Hisham Husain and Vu Nguyen and Anton van den Hengel
- Abstract要約: 我々は,$phi$-divergences におけるデータシフトに対するロバストさを,Total Variation や既存のKullback-Leibler の発散など,多くの一般的な選択を仮定する。
この設定におけるDRO-BO問題は有限次元最適化問題と等価であり、連続的な文脈でも証明可能な部分線型後悔境界で容易に実装できることを示す。
- 参考スコア（独自算出の注目度）: 55.071434352141395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of robustness has received much attention due to its inevitability
in data-driven settings where many systems face uncertainty. One such example
of concern is Bayesian Optimization (BO), where uncertainty is multi-faceted,
yet there only exists a limited number of works dedicated to this direction. In
particular, there is the work of Kirschner et al. (2020), which bridges the
existing literature of Distributionally Robust Optimization (DRO) by casting
the BO problem from the lens of DRO. While this work is pioneering, it
admittedly suffers from various practical shortcomings such as finite contexts
assumptions, leaving behind the main question Can one devise a computationally
tractable algorithm for solving this DRO-BO problem? In this work, we tackle
this question to a large degree of generality by considering robustness against
data-shift in $\phi$-divergences, which subsumes many popular choices, such as
the $\chi^2$-divergence, Total Variation, and the extant Kullback-Leibler (KL)
divergence. We show that the DRO-BO problem in this setting is equivalent to a
finite-dimensional optimization problem which, even in the continuous context
setting, can be easily implemented with provable sublinear regret bounds. We
then show experimentally that our method surpasses existing methods, attesting
to the theoretical results.
- Abstract（参考訳）: 堅牢性の研究は、多くのシステムが不確実性に直面するデータ駆動環境において必然性のため、多くの注目を集めている。
そのような問題の一つがベイズ最適化 (BO) であり、不確実性は多面的であるが、この方向に特化した研究は限られている。
特に、Kirschner et al. (2020) は、DROのレンズからBO問題をキャストすることで、既存の分散ロバスト最適化(DRO)の文献を橋渡しする。
この研究は先駆的だが、有限文脈仮定のような様々な現実的な欠点に悩まされており、主要な疑問を残している。
本研究では,$\phi$-divergences におけるデータシフトに対するロバスト性を検討することで,この問題に多くの一般性に取り組み,$\chi^2$-divergence や total variation, 現存する kullback-leibler (kl) の分岐など,多くの一般的な選択肢を仮定した。
この設定におけるDRO-BO問題は有限次元最適化問題と等価であり、連続的な文脈でも証明可能な部分線型後悔境界で容易に実装できることを示す。
次に,提案手法が既存の手法を超越し,理論的結果が得られたことを実験的に示す。
関連論文リスト
- Large-Scale Non-convex Stochastic Constrained Distributionally Robust Optimization [23.029511473335145]
本稿では、その性能のロバスト性を明確に評価した制約付きDROに焦点を当てる。
各$chi2$-divergencesポイント$におけるアルゴリズムの複雑さは、データセットサイズが独立しているため、大規模アプリケーションに適している。
論文 参考訳（メタデータ） (2024-04-01T15:56:58Z) - Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
論文 参考訳（メタデータ） (2023-12-19T13:17:43Z) - Smoothed $f$-Divergence Distributionally Robust Optimization [5.50764401597583]
我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。
DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
論文 参考訳（メタデータ） (2023-06-24T19:22:01Z) - Stochastic Constrained DRO with a Complexity Independent of Sample Size [38.56406595022129]
クルバック分散制約DRO問題の解法として,非凸損失と凸損失の両方に適用可能なアルゴリズムを提案し,解析する。
非損失に対する$$$ilon定常解を見つけるのにほぼ最適な複雑さを確立し、広いアプリケーションに最適な解を求めるのに最適なバッチの複雑さを確立します。
論文 参考訳（メタデータ） (2022-10-11T19:11:19Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - Distributionally Robust Optimization with Markovian Data [8.126833795693699]
本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。
本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
論文 参考訳（メタデータ） (2021-06-12T10:59:02Z) - DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。
このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。
提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
論文 参考訳（メタデータ） (2021-06-11T02:59:54Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。
我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
論文 参考訳（メタデータ） (2020-05-04T10:48:04Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。