論文の概要: Statistical Properties of Robust Satisficing
- arxiv url: http://arxiv.org/abs/2405.20451v1
- Date: Thu, 30 May 2024 19:57:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 18:14:59.037739
- Title: Statistical Properties of Robust Satisficing
- Title（参考訳）: ロバスト満足度に関する統計的特性
- Authors: Zhiyi Li, Yunbei Xu, Ruohan Zhan,
- Abstract要約: Robust Satisficing(RS)モデルは、堅牢な最適化に対する新たなアプローチである。
本稿では,RSモデルの理論的特性を包括的に解析する。
実験の結果,RSモデルは小サンプル体制における基礎的経験的リスクを常に上回ることがわかった。
- 参考スコア（独自算出の注目度）: 5.0139295307605325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Robust Satisficing (RS) model is an emerging approach to robust optimization, offering streamlined procedures and robust generalization across various applications. However, the statistical theory of RS remains unexplored in the literature. This paper fills in the gap by comprehensively analyzing the theoretical properties of the RS model. Notably, the RS structure offers a more straightforward path to deriving statistical guarantees compared to the seminal Distributionally Robust Optimization (DRO), resulting in a richer set of results. In particular, we establish two-sided confidence intervals for the optimal loss without the need to solve a minimax optimization problem explicitly. We further provide finite-sample generalization error bounds for the RS optimizer. Importantly, our results extend to scenarios involving distribution shifts, where discrepancies exist between the sampling and target distributions. Our numerical experiments show that the RS model consistently outperforms the baseline empirical risk minimization in small-sample regimes and under distribution shifts. Furthermore, compared to the DRO model, the RS model exhibits lower sensitivity to hyperparameter tuning, highlighting its practicability for robustness considerations.
- Abstract（参考訳）: Robust Satisficing(RS)モデルは、堅牢な最適化への新たなアプローチであり、様々なアプリケーションにまたがる合理化された手順と堅牢な一般化を提供する。
しかし、RSの統計理論は文献では未解明のままである。
本稿では,RSモデルの理論的特性を包括的に解析することによって,そのギャップを埋める。
特に、RS構造は、半正規分布ロバスト最適化(DRO)と比較して統計的保証を導出するより簡単な経路を提供し、結果としてよりリッチな結果が得られる。
特に、極小最適化問題を明示的に解くことなく、最適損失に対して両面信頼区間を確立する。
さらに、RSオプティマイザに対して有限サンプル一般化誤差境界を提供する。
重要な点として,本研究の結果は,サンプリング分布とターゲット分布との間に相違点が存在する分布シフトを含むシナリオにまで拡張されている。
我々の数値実験により、RSモデルは小サンプル状態および分布シフト下でのベースライン経験的リスク最小化を一貫して上回ることを示した。
さらに、DROモデルと比較して、RSモデルはハイパーパラメータチューニングに対する感度が低く、ロバストネスを考慮した実践性を強調している。
関連論文リスト
- Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。
点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。
両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-07-31T19:45:27Z) - Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。
ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。
実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
論文 参考訳（メタデータ） (2024-01-28T21:19:15Z) - The Curious Price of Distributional Robustness in Reinforcement Learning with a Generative Model [61.87673435273466]
本稿では,強化学習(RL)におけるモデルロバスト性を検討した。
我々は,デプロイ環境が,名目MDPに規定された不確実性に陥る場合に,最悪の場合のパフォーマンスを最適化する政策を学習することを目的とした,分布的に堅牢なマルコフ決定プロセス(RMDP)の枠組みを採用する。
論文 参考訳（メタデータ） (2023-05-26T02:32:03Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Distributionally Robust Multi-Output Regression Ranking [3.9318191265352196]
DRMRR(Distributedally Robust Multi-output Regression Ranking)と呼ばれるリストワイズ学習ランクモデルを導入する。
DRMRRは分散ロバスト最適化フレームワークを使用して、経験的データ分布の近傍で最も有害な分布の下でのマルチ出力損失関数を最小化する。
本実験は,医用文書検索と薬物反応予測の2つの実世界の応用について行った。
論文 参考訳（メタデータ） (2021-09-27T05:19:27Z) - Federated Distributionally Robust Optimization for Phase Configuration
of RISs [106.4688072667105]
我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。
異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。
提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
論文 参考訳（メタデータ） (2021-08-20T07:07:45Z) - Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。
我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。
特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
論文 参考訳（メタデータ） (2021-06-21T15:19:52Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Residuals-based distributionally robust optimization with covariate
information [0.0]
我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。
私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
論文 参考訳（メタデータ） (2020-12-02T11:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。