論文の概要: High-dimensional robust regression under heavy-tailed data: Asymptotics and Universality

• arxiv url: http://arxiv.org/abs/2309.16476v2
• Date: Fri, 31 May 2024 12:25:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:41:23.175718
• Title: High-dimensional robust regression under heavy-tailed data: Asymptotics and Universality
• Title（参考訳）: 重み付きデータに基づく高次元ロバストレグレッション:漸近性と普遍性
• Authors: Urte Adomaityte, Leonardo Defilippis, Bruno Loureiro, Gabriele Sicuro,
• Abstract要約: 重み付き雑音の存在下での頑健な回帰推定器の高次元特性について検討する。 整合性にもかかわらず、最適に調整された位置パラメータ$delta$は高次元状態において最適であることを示す。 隆起回帰の余剰リスクに対する崩壊率を導出する。
• 参考スコア（独自算出の注目度）: 7.416689632227865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the high-dimensional properties of robust regression estimators in the presence of heavy-tailed contamination of both the covariates and response functions. In particular, we provide a sharp asymptotic characterisation of M-estimators trained on a family of elliptical covariate and noise data distributions including cases where second and higher moments do not exist. We show that, despite being consistent, the Huber loss with optimally tuned location parameter $\delta$ is suboptimal in the high-dimensional regime in the presence of heavy-tailed noise, highlighting the necessity of further regularisation to achieve optimal performance. This result also uncovers the existence of a transition in $\delta$ as a function of the sample complexity and contamination. Moreover, we derive the decay rates for the excess risk of ridge regression. We show that, while it is both optimal and universal for covariate distributions with finite second moment, its decay rate can be considerably faster when the covariates' second moment does not exist. Finally, we show that our formulas readily generalise to a richer family of models and data distributions, such as generalised linear estimation with arbitrary convex regularisation trained on mixture models.
• Abstract（参考訳）: 共変量および応答関数の重み付き汚染の存在下での頑健な回帰推定器の高次元特性について検討した。 特に,第2モーメントと高次モーメントが存在しない場合を含む,楕円共変量および雑音データ分布に基づいて訓練されたM-推定器の鋭い漸近特性について述べる。 整合性にもかかわらず、最適に調整された位置パラメータ$\delta$は重み付き雑音の存在下での高次元状態において最適であり、最適性能を達成するためにさらなる正規化の必要性を強調している。 この結果はまた、サンプルの複雑さと汚染の関数として$\delta$における遷移の存在を明らかにする。 さらに,尾根回帰の余剰リスクに対する崩壊率を導出する。 有限第二モーメントを持つ共変量分布には最適かつ普遍的であるが、共変量 2 モーメントが存在しなければ、その崩壊速度は著しく高速であることを示す。 最後に, 混合モデルに基づいて学習した任意の凸正規化を用いた一般化線形推定など, モデルとデータ分布のよりリッチなファミリに容易に一般化できることを述べる。

関連論文リスト

• ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [1.194799054956877]
  高次元正規化回帰における2つの重要なタスクは、良い予測のために正規化強度を調整し、サンプル外リスクを推定することである。 標準的なアプローチ --$k$-foldクロスバリデーション -- は、現代の高次元設定では一貫性がない。 クロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を紹介する。
  論文  参考訳（メタデータ） (2024-06-17T15:50:00Z)
• Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [20.348736537045916]
  統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。 一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
  論文  参考訳（メタデータ） (2024-02-21T08:50:33Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。