論文の概要: Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning
- arxiv url: http://arxiv.org/abs/2206.13269v3
- Date: Sat, 03 May 2025 03:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 14:45:08.732112
- Title: Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning
- Title（参考訳）: ワッサーシュタインの高次元分布ロバスト推定:性能解析と最適ハイパーパラメータチューニング
- Authors: Liviu Aolaritei, Soroosh Shafiee, Florian Dörfler,
- Abstract要約: 分散ロバスト最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなっている。
本稿では,DROに基づく線形回帰法を提案し,その中心的問題,すなわちロバストネス半径を最適に選択する方法を提案する。
本手法はクロスバリデーションと同じ効果を示すが,計算コストのごく一部で実現可能であることを示す。
- 参考スコア（独自算出の注目度）: 2.4578723416255754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributionally robust optimization (DRO) has become a powerful framework for estimation under uncertainty, offering strong out-of-sample performance and principled regularization. In this paper, we propose a DRO-based method for linear regression and address a central question: how to optimally choose the robustness radius, which controls the trade-off between robustness and accuracy. Focusing on high-dimensional settings where the dimension and the number of samples are both large and comparable in size, we employ tools from high-dimensional asymptotic statistics to precisely characterize the estimation error of the resulting estimator. Remarkably, this error can be recovered by solving a simple convex-concave optimization problem involving only four scalar variables. This characterization enables efficient selection of the radius that minimizes the estimation error. In doing so, it achieves the same effect as cross-validation, but at a fraction of the computational cost. Numerical experiments confirm that our theoretical predictions closely match empirical performance and that the optimal radius selected through our method aligns with that chosen by cross-validation, highlighting both the accuracy and the practical benefits of our approach.
- Abstract（参考訳）: 分散ロバストな最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなり、強力なアウトオブサンプル性能と原則正規化を提供する。
本稿では,DROに基づく線形回帰法を提案し,ロバストネスと精度のトレードオフを制御するロバストネス半径をどのように最適に選択するかという中心的問題に対処する。
寸法とサンプル数が大きくかつ同等な高次元設定に着目し、高次元漸近統計学のツールを用いて、得られた推定値の推定誤差を正確に評価する。
注目すべきは、4つのスカラー変数のみを含む単純な凸凹最適化問題を解くことで、この誤差を回復することができることである。
このキャラクタリゼーションにより、推定誤差を最小限に抑える半径の効率的な選択が可能となる。
そうすることで、クロスバリデーションと同じ効果を得るが、計算コストのごく一部で実現できる。
数値実験により,我々の理論的予測は経験的性能と密接に一致し,提案手法で選択した最適半径は,クロスバリデーションにより選択した半径と一致し,精度と実用性の両方を強調した。
関連論文リスト
- Estimation of discrete distributions in relative entropy, and the deviations of the missing mass [3.4265828682659705]
我々は、相対エントロピーで測定された精度で、I.d.サンプルから有限アルファベット上の分布を推定する問題について検討する。
最適なリスク境界が知られているが、高い確率保証は十分に理解されていない。
論文 参考訳（メタデータ） (2025-04-30T16:47:10Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。
提案したモデルの強烈な経験的性能を実証する。
論文 参考訳（メタデータ） (2024-06-04T15:46:41Z) - A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。
頑健な推定器は効率的に計算可能で一貫したものであることを示す。
合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
論文 参考訳（メタデータ） (2024-05-30T15:01:18Z) - Optimal convex $M$-estimation via score matching [6.115859302936817]
実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。
半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
論文 参考訳（メタデータ） (2024-03-25T12:23:19Z) - Doubly Robust Inference in Causal Latent Factor Models [12.116813197164047]
本稿では、多数の単位と結果を含む現代データ豊富な環境において、観測不能なコンファウンディングの下での平均処理効果を推定する新しい手法を提案する。
有限サンプル重み付けと保証を導出し、新しい推定器の誤差がパラメトリック速度で平均ゼロガウス分布に収束することを示す。
論文 参考訳（メタデータ） (2024-02-18T17:13:46Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-02T21:01:13Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。
我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
論文 参考訳（メタデータ） (2020-05-04T10:48:04Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。