論文の概要: A data-driven approach to beating SAA out-of-sample
- arxiv url: http://arxiv.org/abs/2105.12342v3
- Date: Sun, 11 Jun 2023 13:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 03:40:03.852484
- Title: A data-driven approach to beating SAA out-of-sample
- Title(参考訳): SAAを圧倒するデータ駆動アプローチ
- Authors: Jun-ya Gotoh, Michael Jong Kim, Andrew E.B. Lim
- Abstract要約: 本稿では,分散最適化(DOO)モデルについて紹介する。
最悪のケース (DRO) モデルだけでなく,最高のケース (DOO) モデルも考慮すれば,常に "SAA out-of-sample" を克服できることが分かる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While solutions of Distributionally Robust Optimization (DRO) problems can
sometimes have a higher out-of-sample expected reward than the Sample Average
Approximation (SAA), there is no guarantee. In this paper, we introduce a class
of Distributionally Optimistic Optimization (DOO) models, and show that it is
always possible to ``beat" SAA out-of-sample if we consider not just worst-case
(DRO) models but also best-case (DOO) ones. We also show, however, that this
comes at a cost: Optimistic solutions are more sensitive to model error than
either worst-case or SAA optimizers, and hence are less robust and calibrating
the worst- or best-case model to outperform SAA may be difficult when data is
limited.
- Abstract(参考訳): 分散ロバスト最適化 (DRO) 問題の解法は、サンプル平均近似 (SAA) よりも期待外報酬が高くなることがあるが、保証はない。
本稿では、分布最適化モデル(DOO)のクラスを紹介し、最悪のケース(DRO)モデルだけでなく、ベストケース(DOO)モデルも考慮すれば、常に '`beat' SAA out-sample が可能であることを示す。
最適化ソリューションは、最悪のケースやSAAオプティマイザよりもモデルエラーに敏感であり、従ってロバスト性は低く、データ制限時に、最悪のケースやベストケースモデルより優れているように調整することは困難である。
関連論文リスト
- Overcoming Reward Overoptimization via Adversarial Policy Optimization
with Lightweight Uncertainty Estimation [50.0151082930949]
AdvPO(Adversarial Policy Optimization)は、人間からの強化学習における報酬過度最適化の問題に対する新しい解決策である。
本稿では,報酬モデルの最後の層埋め込みにのみ依存して,報酬の不確実性を定量化する軽量な手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T09:20:12Z) - Risk-Sensitive Diffusion for Perturbation-Robust Optimization [58.68233326265417]
スコア関数を持つものよりも、雑音のあるサンプルが別の目的関数を発生させることで、モデルが誤って最適化されることが示される。
リスクベクトルによってパラメータ化された微分方程式(SDE)の一種であるリスク感受性SDEを導入する。
ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明する。
論文 参考訳(メタデータ) (2024-02-03T08:41:51Z) - DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳(メタデータ) (2023-11-06T12:15:57Z) - SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。
DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。
拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
論文 参考訳(メタデータ) (2023-09-10T12:44:54Z) - Smoothed $f$-Divergence Distributionally Robust Optimization [5.50764401597583]
我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。
DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
論文 参考訳(メタデータ) (2023-06-24T19:22:01Z) - Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective [15.832111591654293]
モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。
また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-04-13T21:54:53Z) - Robust Generalization against Photon-Limited Corruptions via Worst-Case
Sharpness Minimization [89.92932924515324]
ロバスト一般化は、トレーニングセットで稀であり、厳しいノイズを含む最も困難なデータ分散に取り組むことを目的としている。
分散ロバスト最適化(DRO)のような一般的なソリューションは、低いトレーニングエラーを保証するための最悪の経験的リスクに焦点を当てている。
本稿では,学習パラメータの近傍における損失変化を計測し,最悪ケース分布の鋭さをペナルティ化し,シャープDROを提案する。
シャープDROは、汚職に対する強力な一般化能力を示し、高い性能向上を有するよく知られたベースライン法を超えることを示す。
論文 参考訳(メタデータ) (2023-03-23T07:58:48Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Kidney Exchange with Inhomogeneous Edge Existence Uncertainty [33.17472228570093]
我々は一致したサイクルとチェーンパッキングの問題の最大化を目指しており、そこでは障害の端まで有向グラフ内の構造を識別することを目的としている。
ユナイテッド・フォー・シェアリング(SUNO)のデータに対する我々のアプローチは、SAAベースの手法と同じ重み付けでより良いパフォーマンスを提供する。
論文 参考訳(メタデータ) (2020-07-07T04:08:39Z) - Enhancing Certified Robustness via Smoothed Weighted Ensembling [7.217295098686032]
Smoothed Weighted ENsembling scheme を用いてランダム化スムーズな分類器の性能を向上させる。
SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。
また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-05-19T11:13:43Z) - Stochastic Approximation versus Sample Average Approximation for
population Wasserstein barycenters [2.3025186469300434]
機械学習と最適化のコミュニティには、凸リスク問題、すなわち最小化近似(SA)とサンプル平均近似(SAA)の2つの主要なアプローチがある。
ワッサーシュタイン・バリセンタ問題に対して、この優越性は逆転可能であることを示す。
最適輸送距離とエントロピー規則化された最適輸送距離に関して定義されたバリセンタを計算するSAおよびSAA実装の複雑さ境界を述べることで、詳細な比較を行う。
論文 参考訳(メタデータ) (2020-01-21T18:54:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。