論文の概要: Wasserstein Distributionally Robust Estimation in High Dimensions:
Performance Analysis and Optimal Hyperparameter Tuning
- arxiv url: http://arxiv.org/abs/2206.13269v2
- Date: Tue, 28 Nov 2023 05:29:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 17:40:18.021460
- Title: Wasserstein Distributionally Robust Estimation in High Dimensions:
Performance Analysis and Optimal Hyperparameter Tuning
- Title（参考訳）: 高次元におけるwaserstein分布ロバスト推定:性能解析と最適ハイパーパラメータチューニング
- Authors: Liviu Aolaritei, Soroosh Shafiee, Florian D\"orfler
- Abstract要約: 雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。
このような推定器の2乗誤差性能を解析する作業に着目する。
凸凹最適化問題の解法として2乗誤差を復元できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wasserstein distributionally robust optimization has recently emerged as a
powerful framework for robust estimation, enjoying good out-of-sample
performance guarantees, well-understood regularization effects, and
computationally tractable reformulations. In such framework, the estimator is
obtained by minimizing the worst-case expected loss over all probability
distributions which are close, in a Wasserstein sense, to the empirical
distribution. In this paper, we propose a Wasserstein distributionally robust
estimation framework to estimate an unknown parameter from noisy linear
measurements, and we focus on the task of analyzing the squared error
performance of such estimators. Our study is carried out in the modern
high-dimensional proportional regime, where both the ambient dimension and the
number of samples go to infinity at a proportional rate which encodes the
under/over-parametrization of the problem. Under an isotropic Gaussian features
assumption, we show that the squared error can be recovered as the solution of
a convex-concave optimization problem which, surprinsingly, involves at most
four scalar variables. Importantly, the precise quantification of the squared
error allows to accurately and efficiently compare different ambiguity radii
and to understand the effect of the under/over-parametrization on the
estimation error. We conclude the paper with a list of exciting research
directions enabled by our results.
- Abstract（参考訳）: Wassersteinの分散的ロバストな最適化は、最近、堅牢な推定のための強力なフレームワークとして登場し、優れたアウトオブサンプル性能保証、よく理解された正規化効果、そして計算的に抽出可能な再構成を享受している。
そのような枠組みにおいて、推定子は、ワッサーシュタイン意味で近い全ての確率分布に対する最悪の損失を経験的分布に最小化することによって得られる。
本稿では,雑音のある線形測定値から未知パラメータを推定するための分布的ロバストな推定手法を提案し,そのような推定器の2乗誤差特性を解析する作業に着目する。
本研究は, 周辺次元と試料数の両方を比例率で無限大化し, 過度・過度なパラメータ化を符号化した現代高次元比例法を用いて行った。
等方性ガウスの特徴の仮定の下で、二乗誤差は4つのスカラー変数を含む凸凸最適化問題の解として回復できることを示した。
重要なことに、二乗誤差の正確な定量化は、異なる曖昧度半径を正確かつ効率的に比較し、推定誤差に対するアンダー・オーバ・パラメトリゼーションの影響を理解することができる。
本論文は,本研究の成果を活かしたエキサイティングな研究指針の一覧でまとめる。
関連論文リスト
- Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。
提案したモデルの強烈な経験的性能を実証する。
論文 参考訳（メタデータ） (2024-06-04T15:46:41Z) - A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。
頑健な推定器は効率的に計算可能で一貫したものであることを示す。
合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
論文 参考訳（メタデータ） (2024-05-30T15:01:18Z) - Optimal convex $M$-estimation via score matching [6.115859302936817]
実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。
半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
論文 参考訳（メタデータ） (2024-03-25T12:23:19Z) - Doubly Robust Inference in Causal Latent Factor Models [12.116813197164047]
本稿では、多数の単位と結果を含む現代データ豊富な環境において、観測不能なコンファウンディングの下での平均処理効果を推定する新しい手法を提案する。
有限サンプル重み付けと保証を導出し、新しい推定器の誤差がパラメトリック速度で平均ゼロガウス分布に収束することを示す。
論文 参考訳（メタデータ） (2024-02-18T17:13:46Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-02T21:01:13Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。
我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
論文 参考訳（メタデータ） (2020-05-04T10:48:04Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。