論文の概要: When does Gaussian equivalence fail and how to fix it: Non-universal behavior of random features with quadratic scaling

• arxiv url: http://arxiv.org/abs/2512.03325v1
• Date: Wed, 03 Dec 2025 00:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-04 20:02:55.051037
• Title: When does Gaussian equivalence fail and how to fix it: Non-universal behavior of random features with quadratic scaling
• Title（参考訳）: ガウス同値性はいつ失敗し、それをどのように修正するか:2次スケーリングを伴うランダムな特徴の非普遍的挙動
• Authors: Garrett G. Wen, Hong Hu, Yue M. Lu, Zhou Fan, Theodor Misiakiewicz,
• Abstract要約: ガウス同値理論 (GET) は、高次元の複素特徴の挙動をガウス級数によって捉えることができると述べている。 しかし、数値実験により、この同値性は一般的なスケーリング体制下での単純な埋め込みでも失敗する可能性があることが示されている。 我々は、低次元のガウス成分を高次元ガウスモデルに付加すると考えられる条件等価(CGE)モデルを導入する。
• 参考スコア（独自算出の注目度）: 15.148577493784051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major effort in modern high-dimensional statistics has been devoted to the analysis of linear predictors trained on nonlinear feature embeddings via empirical risk minimization (ERM). Gaussian equivalence theory (GET) has emerged as a powerful universality principle in this context: it states that the behavior of high-dimensional, complex features can be captured by Gaussian surrogates, which are more amenable to analysis. Despite its remarkable successes, numerical experiments show that this equivalence can fail even for simple embeddings -- such as polynomial maps -- under general scaling regimes. We investigate this breakdown in the setting of random feature (RF) models in the quadratic scaling regime, where both the number of features and the sample size grow quadratically with the data dimension. We show that when the target function depends on a low-dimensional projection of the data, such as generalized linear models, GET yields incorrect predictions. To capture the correct asymptotics, we introduce a Conditional Gaussian Equivalent (CGE) model, which can be viewed as appending a low-dimensional non-Gaussian component to an otherwise high-dimensional Gaussian model. This hybrid model retains the tractability of the Gaussian framework and accurately describes RF models in the quadratic scaling regime. We derive sharp asymptotics for the training and test errors in this setting, which continue to agree with numerical simulations even when GET fails. Our analysis combines general results on CLT for Wiener chaos expansions and a careful two-phase Lindeberg swapping argument. Beyond RF models and quadratic scaling, our work hints at a rich landscape of universality phenomena in high-dimensional ERM.
• Abstract（参考訳）: 現代の高次元統計学における主要な取り組みは、経験的リスク最小化(ERM)による非線形特徴埋め込みを訓練した線形予測器の分析に費やされている。 ガウス同値理論(GET)は、この文脈において強力な普遍性原理として現れており、高次元で複雑な特徴の振る舞いはガウスの代理によって捉えられるが、解析にはより適している。 その顕著な成功にもかかわらず、数値実験により、この同値性は一般的なスケーリング体制の下で単純な埋め込み(多項式写像など)でも失敗することを示した。 本研究では,2次スケーリング方式におけるランダム特徴量(RF)モデルの設定における,特徴数とサンプルサイズの両方がデータ次元と2次的に増加する場合の分解について検討する。 対象関数が一般化線形モデルなどのデータの低次元投影に依存する場合、GETは誤った予測を行う。 正しい漸近を捉えるために、条件付きガウス等価(CGE)モデルを導入し、これは低次元のガウス成分を高次元ガウスモデルに付加すると見なすことができる。 このハイブリッドモデルはガウスのフレームワークのトラクタビリティを保持し、二次スケーリングシステムにおけるRFモデルを正確に記述する。 この設定では, GET が故障しても数値シミュレーションに一致し続け, トレーニングとテストの誤りに対して, 鋭い漸近を導出する。 Weenerカオス展開に対するCLTの一般的な結果と、慎重な2相リンデバーグスワップ引数を組み合わせた分析を行った。 RFモデルと二次スケーリング以外にも、高次元EMMにおける普遍性現象の豊かな風景を示唆している。

関連論文リスト

• Asymptotics of Non-Convex Generalized Linear Models in High-Dimensions: A proof of the replica formula [17.036996839737828]
  非次元ガウス正規化モデルの最適性を証明するために,アルゴリズムをどのように利用できるかを示す。 また, 負の正則化モデルの最適性を証明するために, テューキー損失を用いる方法を示す。
  論文  参考訳（メタデータ） (2025-02-27T11:29:43Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Double Descent in Random Feature Models: Precise Asymptotic Analysis for General Convex Regularization [4.8900735721275055]
  より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。 我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
  論文  参考訳（メタデータ） (2022-04-06T08:59:38Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
  本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。 一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
  論文  参考訳（メタデータ） (2020-03-25T03:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。