論文の概要: Characterization of Gaussian Universality Breakdown in High-Dimensional Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2604.03146v1
• Date: Fri, 03 Apr 2026 16:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.528129
• Title: Characterization of Gaussian Universality Breakdown in High-Dimensional Empirical Risk Minimization
• Title（参考訳）: 高次元経験的リスク最小化におけるガウス的普遍性破壊のキャラクタリゼーション
• Authors: Chiheb Yaakoubi, Cosme Louart, Malik Tiomoko, Zhenyu Liao,
• Abstract要約: 非ガウス的なデータ設計の下で,高次元的凸リスク (ERM) について検討した。 平均$_hat$の近似を可能にするため、鍵統計量のmin-max特性を導出する。 我々は任意の$mathcalC2$正則化器が、そのヘッセンが 0 で、勾配が $_hat$ でのみ決定する二次形式に等しいことを証明した。
• 参考スコア（独自算出の注目度）: 7.721672385781673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study high-dimensional convex empirical risk minimization (ERM) under general non-Gaussian data designs. By heuristically extending the Convex Gaussian Min-Max Theorem (CGMT) to non-Gaussian settings, we derive an asymptotic min-max characterization of key statistics, enabling approximation of the mean $μ_{\hatθ}$ and covariance $C_{\hatθ}$ of the ERM estimator $\hatθ$. Specifically, under a concentration assumption on the data matrix and standard regularity conditions on the loss and regularizer, we show that for a test covariate $x$ independent of the training data, the projection $\hatθ^\top x$ approximately follows the convolution of the (generally non-Gaussian) distribution of $μ_{\hatθ}^\top x$ with an independent centered Gaussian variable of variance $\text{Tr}(C_{\hatθ}\mathbb{E}[xx^\top])$. This result clarifies the scope and limits of Gaussian universality for ERMs. Additionally, we prove that any $\mathcal{C}^2$ regularizer is asymptotically equivalent to a quadratic form determined solely by its Hessian at zero and gradient at $μ_{\hatθ}$. Numerical simulations across diverse losses and models are provided to validate our theoretical predictions and qualitative insights.
• Abstract（参考訳）: 一般のガウス的データ設計の下で,高次元凸型経験的リスク最小化(ERM)について検討した。 Convex Gaussian Min-Max Theorem (CGMT) を非ガウス的な設定にヒューリスティックに拡張することにより、キー統計学の漸近的な min-max 特性を導き、平均$μ_{\hatθ}$ と covariance $C_{\hatθ}$ の ERM推定器 $\hatθ$ を近似することができる。 具体的には、損失と正規化子に対するデータ行列と標準正規化条件の集中仮定の下で、試験共変量$x$がトレーニングデータから独立である場合、射影$\hatθ^\top x$は、分散$\text{Tr}(C_{\hatθ}\mathbb{E}[xx^\top])$の独立中心ガウス変数との(一般に非ガウス分布の)畳み込みにほぼ従うことを示す。 この結果は、ERM に対するガウス普遍性の範囲と極限を明らかにする。 さらに、任意の $\mathcal{C}^2$ 正則化器が漸近的に、その Hessian が 0 で、勾配が $μ_{\hatθ}$ でのみ決定する二次形式に等しいことを証明している。 理論的予測と定性的洞察を検証するために,多種多様な損失とモデルにわたる数値シミュレーションを行った。

関連論文リスト

• Efficient reductions from a Gaussian source with applications to statistical-computational tradeoffs [8.162867143465382]
  我々はこの手法を利用して、平均ケースの複雑さにおいて広く信じられている予想の下で、いくつかの正準高次元統計モデルに対して、還元に基づく計算下界を確立する。 ガウス雑音を持つスパイクテンソルPCAの計算下界は、クラス内の他のガウス雑音分布にまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-08T17:16:36Z)
• Local minima of the empirical risk in high dimension: General theorems and convex examples [8.748904058015574]
  我々は、データベクトル$mathbfxi$が$d-最小化であるような高次元経験的リスクの一般的なモデルを考える。 我々は推定誤差と予測誤差に基づいてシャープを導出する。
  論文  参考訳（メタデータ） (2025-02-04T03:02:24Z)
• SoS Certifiability of Subgaussian Distributions and its Algorithmic Applications [37.208622097149714]
  すべての$d inmathbb N$に対して、すべての中心部分ガウス分布 $mathcal D$ on $mathbb Rd$, and every even $p inmathbb N$, $d-optimal inmathbb N$, $d-optimal inmathbb N$ が成り立つような普遍定数 $C>0$ が存在することを証明している。 これは、すべてのサブガウス分布がemphS-certifiably subgaussianであることを示す。
  論文  参考訳（メタデータ） (2024-10-28T16:36:58Z)
• On Regression in Extreme Regions [0.7974430263940756]
  我々は、余変数の観測されていない尾に外挿、あるいは領域外一般化を目的とした統計的学習理論の枠組みを確立する。 本稿では,Vapnik-Chervonenkisクラスから選択した予測器を用いて,非パラメトリック最小二乗回帰のスタイリング問題に対処する。 本研究では, 余剰リスクの観点から, テール領域の予測性能を定量化し, 明確なバイアス分散分解を伴う有限サンプルリスクとして提示する。
  論文  参考訳（メタデータ） (2023-03-06T12:55:38Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
  非ガウス成分分析(NGCA)は分布学習問題である。 我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-12-16T18:38:02Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• The Sample Complexity of Robust Covariance Testing [56.98280399449707]
  i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。 汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。 サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
  論文  参考訳（メタデータ） (2020-12-31T18:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。