論文の概要: Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2206.13269v3
• Date: Sat, 03 May 2025 03:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 14:45:08.732112
• Title: Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning
• Title（参考訳）: ワッサーシュタインの高次元分布ロバスト推定:性能解析と最適ハイパーパラメータチューニング
• Authors: Liviu Aolaritei, Soroosh Shafiee, Florian Dörfler,
• Abstract要約: 分散ロバスト最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなっている。 本稿では,DROに基づく線形回帰法を提案し,その中心的問題,すなわちロバストネス半径を最適に選択する方法を提案する。 本手法はクロスバリデーションと同じ効果を示すが,計算コストのごく一部で実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 2.4578723416255754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributionally robust optimization (DRO) has become a powerful framework for estimation under uncertainty, offering strong out-of-sample performance and principled regularization. In this paper, we propose a DRO-based method for linear regression and address a central question: how to optimally choose the robustness radius, which controls the trade-off between robustness and accuracy. Focusing on high-dimensional settings where the dimension and the number of samples are both large and comparable in size, we employ tools from high-dimensional asymptotic statistics to precisely characterize the estimation error of the resulting estimator. Remarkably, this error can be recovered by solving a simple convex-concave optimization problem involving only four scalar variables. This characterization enables efficient selection of the radius that minimizes the estimation error. In doing so, it achieves the same effect as cross-validation, but at a fraction of the computational cost. Numerical experiments confirm that our theoretical predictions closely match empirical performance and that the optimal radius selected through our method aligns with that chosen by cross-validation, highlighting both the accuracy and the practical benefits of our approach.
• Abstract（参考訳）: 分散ロバストな最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなり、強力なアウトオブサンプル性能と原則正規化を提供する。 本稿では,DROに基づく線形回帰法を提案し,ロバストネスと精度のトレードオフを制御するロバストネス半径をどのように最適に選択するかという中心的問題に対処する。 寸法とサンプル数が大きくかつ同等な高次元設定に着目し、高次元漸近統計学のツールを用いて、得られた推定値の推定誤差を正確に評価する。 注目すべきは、4つのスカラー変数のみを含む単純な凸凹最適化問題を解くことで、この誤差を回復することができることである。 このキャラクタリゼーションにより、推定誤差を最小限に抑える半径の効率的な選択が可能となる。 そうすることで、クロスバリデーションと同じ効果を得るが、計算コストのごく一部で実現できる。 数値実験により,我々の理論的予測は経験的性能と密接に一致し,提案手法で選択した最適半径は,クロスバリデーションにより選択した半径と一致し,精度と実用性の両方を強調した。

関連論文リスト

• Estimation of discrete distributions in relative entropy, and the deviations of the missing mass [3.4265828682659705]
  我々は、相対エントロピーで測定された精度で、I.d.サンプルから有限アルファベット上の分布を推定する問題について検討する。 最適なリスク境界が知られているが、高い確率保証は十分に理解されていない。
  論文  参考訳（メタデータ） (2025-04-30T16:47:10Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
  制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。 頑健な推定器は効率的に計算可能で一貫したものであることを示す。 合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:01:18Z)
• Optimal convex $M$-estimation via score matching [6.115859302936817]
  実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。 半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
  論文  参考訳（メタデータ） (2024-03-25T12:23:19Z)
• Automatic Outlier Rectification via Optimal Transport [7.421153752627664]
  コンケーブコスト関数を用いた最適輸送を用いた外乱検出のための新しい概念的枠組みを提案する。 コンケーブコスト関数を用いて最適な輸送距離を利用するための第一歩を踏み出し、修正セットを構築する。 次に、推定タスクを実行するための修正セット内での最適分布を選択する。
  論文  参考訳（メタデータ） (2024-03-21T01:30:24Z)
• Doubly Robust Inference in Causal Latent Factor Models [12.116813197164047]
  本稿では、多数の単位と結果を含む現代データ豊富な環境において、観測不能なコンファウンディングの下での平均処理効果を推定する新しい手法を提案する。 有限サンプル重み付けと保証を導出し、新しい推定器の誤差がパラメトリック速度で平均ゼロガウス分布に収束することを示す。
  論文  参考訳（メタデータ） (2024-02-18T17:13:46Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Statistical Analysis of Wasserstein Distributionally Robust Estimators [9.208007322096535]
  データ駆動の最適化と学習問題において,分極分布に頑健な定式化を実行する統計的手法を検討する。 結果として得られる分布ロバスト最適化(DRO)の定式化は、最適な輸送現象を用いて規定される。 このチュートリアルは、min-maxの定式化によって選択された逆数の性質に関する洞察と、最適輸送射影のさらなる応用に捧げられている。
  論文  参考訳（メタデータ） (2021-08-04T15:45:47Z)
• Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
  機械学習における制約付き最適化問題の一家系を考察する。 我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。 本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
  論文  参考訳（メタデータ） (2021-07-23T00:04:39Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
  パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。 我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-10-11T19:05:49Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator [95.71091446753414]
  最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。 本手法は既存の不一致対策よりも高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T06:09:27Z)
• High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
  一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。 我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2020-05-04T10:48:04Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。