論文の概要: Smoothed $f$-Divergence Distributionally Robust Optimization
- arxiv url: http://arxiv.org/abs/2306.14041v2
- Date: Thu, 12 Oct 2023 14:16:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 15:12:28.400449
- Title: Smoothed $f$-Divergence Distributionally Robust Optimization
- Title（参考訳）: Smoothed $f$-divergence Distributionally Robust Optimization
- Authors: Zhenyuan Liu and Bart P. G. Van Parys and Henry Lam
- Abstract要約: 我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。
DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
- 参考スコア（独自算出の注目度）: 5.50764401597583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In data-driven optimization, sample average approximation (SAA) is known to
suffer from the so-called optimizer's curse that causes an over-optimistic
evaluation of the solution performance. We argue that a special type of
distributionallly robust optimization (DRO) formulation offers theoretical
advantages in correcting for this optimizer's curse compared to simple
``margin'' adjustments to SAA and other DRO approaches: It attains a
statistical bound on the out-of-sample performance, for a wide class of
objective functions and distributions, that is nearly tightest in terms of
exponential decay rate. This DRO uses an ambiguity set based on a Kullback
Leibler (KL) divergence smoothed by the Wasserstein or L\'evy-Prokhorov (LP)
distance via a suitable distance optimization. Computationally, we also show
that such a DRO, and its generalized versions using smoothed $f$-divergence,
are not harder than DRO problems based on $f$-divergence or Wasserstein
distances, rendering our DRO formulations both statistically optimal and
computationally viable.
- Abstract（参考訳）: データ駆動最適化では、サンプル平均近似(SAA)は、ソリューション性能の過度な最適化評価を引き起こすいわゆるオプティマイザの呪いに苦しむことが知られている。
SAA や他の DRO アプローチに対する単純な ` `margin'' の調整と比較して、この最適化の呪いを補正する上で、特別な種類の分布完全ロバスト最適化 (DRO) の定式化が理論的に有利であると主張する。
このDROは、適切な距離最適化を通じて、ワッサーシュタインあるいはL'evy-Prokhorov(LP)距離によって滑らかにされるクルバック・リーブラ(KL)の発散に基づく曖昧性集合を使用する。
計算学的には、そのような DRO とその一般化されたバージョンは、$f$-divergence あるいは Wasserstein 距離に基づく DRO 問題よりも難しくなく、統計的に最適かつ計算的に実現可能であることも示している。
関連論文リスト
- Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。
分類と回帰の数値的なベンチマークで理論的結果を支持する。
論文 参考訳（メタデータ） (2024-03-16T02:06:14Z) - DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-11-06T12:15:57Z) - Hedging Complexity in Generalization via a Parametric Distributionally
Robust Optimization Framework [18.6306170209029]
経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。
本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。
この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:26:34Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文 参考訳（メタデータ） (2022-03-01T01:59:53Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - Sinkhorn Distributionally Robust Optimization [15.194516549163245]
一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。
Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
論文 参考訳（メタデータ） (2021-09-24T12:40:48Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。