論文の概要: Smoothed $f$-Divergence Distributionally Robust Optimization:
Exponential Rate Efficiency and Complexity-Free Calibration
- arxiv url: http://arxiv.org/abs/2306.14041v1
- Date: Sat, 24 Jun 2023 19:22:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 17:32:12.205986
- Title: Smoothed $f$-Divergence Distributionally Robust Optimization:
Exponential Rate Efficiency and Complexity-Free Calibration
- Title（参考訳）: Smoothed $f$-divergence Distributionally Robust Optimization: Exponential Rate efficiency and Complexity-free Calibration
- Authors: Zhenyuan Liu and Bart P. G. Van Parys and Henry Lam
- Abstract要約: 本稿では,Wasserstein あるいは Levy-Prokhorov 距離で滑らかな KL 分割に基づく分散ロバスト最適化 (DRO) を提案する。
これは、指数的崩壊率の点で最も厳密な真の解のパフォーマンスに統計的に拘束される。
また、そのような DRO とそのスムーズな$f$-divergence を用いた一般化版は、通常の DRO 問題よりもそれほど難しくないことを示す。
- 参考スコア（独自算出の注目度）: 2.586068856410811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In data-driven optimization, sample average approximation is known to suffer
from the so-called optimizer's curse that causes optimistic bias in evaluating
the solution performance. This can be tackled by adding a "margin" to the
estimated objective value, or via distributionally robust optimization (DRO), a
fast-growing approach based on worst-case analysis, which gives a protective
bound on the attained objective value. However, in all these existing
approaches, a statistically guaranteed bound on the true solution performance
either requires restrictive conditions and knowledge on the objective function
complexity, or otherwise exhibits an over-conservative rate that depends on the
distribution dimension. We argue that a special type of DRO offers strong
theoretical advantages in regard to these challenges: It attains a statistical
bound on the true solution performance that is the tightest possible in terms
of exponential decay rate, for a wide class of objective functions that notably
does not hinge on function complexity. Correspondingly, its calibration also
does not require any complexity information. This DRO uses an ambiguity set
based on a KL-divergence smoothed by the Wasserstein or Levy-Prokhorov distance
via a suitable distance optimization. Computationally, we also show that such a
DRO, and its generalized version using smoothed $f$-divergence, is not much
harder than standard DRO problems using the $f$-divergence or Wasserstein
distance, thus supporting the strengths of such DRO as both statistically
optimal and computationally viable.
- Abstract（参考訳）: データ駆動最適化では、サンプル平均近似はいわゆるオプティマイザの呪いに苦しめられ、ソリューション性能の評価に楽観的なバイアスを引き起こすことが知られている。
これは、推定された目標値に"マージン"を追加するか、あるいは最悪のケース分析に基づく急速に成長するアプローチである分散ロバスト最適化(DRO)を通じて、達成された目標値に保護的境界を与えることで対処することができる。
しかし、これらすべての既存手法において、真の解のパフォーマンスに統計的に保証された境界は、目的関数の複雑性に関する制限条件と知識を必要とするか、あるいは、分布次元に依存する過保守率を示す。
DRO の特殊型はこれらの課題に関して強い理論的優位性をもたらすと我々は論じる: 関数複雑性に顕著にヒンジしない幅広い目的関数に対して、指数的減衰率の観点から最も厳密な真の解のパフォーマンスに統計的に拘束される。
それに対応して、キャリブレーションには複雑な情報も不要である。
この DRO は、ワッサーシュタインあるいはレヴィ・プロホロフ距離によって、適切な距離最適化によって滑らかにされる KL 分割に基づく曖昧性集合を用いる。
計算学的には、そのようなDROとその一般化版である滑らかな$f$-divergence は、$f$-divergence あるいは Wasserstein 距離を用いた標準 DRO 問題よりもそれほど難しくなく、統計学的に最適かつ計算的に実現可能であることを示す。
関連論文リスト
- Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。
分類と回帰の数値的なベンチマークで理論的結果を支持する。
論文 参考訳（メタデータ） (2024-03-16T02:06:14Z) - DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-11-06T12:15:57Z) - Hedging Complexity in Generalization via a Parametric Distributionally
Robust Optimization Framework [18.6306170209029]
経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。
本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。
この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:26:34Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文 参考訳（メタデータ） (2022-03-01T01:59:53Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - Sinkhorn Distributionally Robust Optimization [15.194516549163245]
一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。
Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
論文 参考訳（メタデータ） (2021-09-24T12:40:48Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。