論文の概要: Are Gaussian data all you need? Extents and limits of universality in high-dimensional generalized linear estimation

• arxiv url: http://arxiv.org/abs/2302.08923v1
• Date: Fri, 17 Feb 2023 14:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 14:25:07.687171
• Title: Are Gaussian data all you need? Extents and limits of universality in high-dimensional generalized linear estimation
• Title（参考訳）: ガウスのデータは必要なだけか? 高次元一般化線形推定における普遍性の範囲と限界
• Authors: Luca Pesce, Florent Krzakala, Bruno Loureiro, Ludovic Stephan
• Abstract要約: 単一インデックスモデルによるラベル付きガウス混合データに対する一般化線形推定の問題点を考察する。 一般線形推定におけるテストとトレーニングエラーの普遍性に関する最近の結果のストリームに触発されて、我々は自問自答する。
• 参考スコア（独自算出の注目度）: 24.933476324230377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this manuscript we consider the problem of generalized linear estimation on Gaussian mixture data with labels given by a single-index model. Our first result is a sharp asymptotic expression for the test and training errors in the high-dimensional regime. Motivated by the recent stream of results on the Gaussian universality of the test and training errors in generalized linear estimation, we ask ourselves the question: "when is a single Gaussian enough to characterize the error?". Our formula allow us to give sharp answers to this question, both in the positive and negative directions. More precisely, we show that the sufficient conditions for Gaussian universality (or lack of thereof) crucially depend on the alignment between the target weights and the means and covariances of the mixture clusters, which we precisely quantify. In the particular case of least-squares interpolation, we prove a strong universality property of the training error, and show it follows a simple, closed-form expression. Finally, we apply our results to real datasets, clarifying some recent discussion in the literature about Gaussian universality of the errors in this context.
• Abstract（参考訳）: 本稿では,ガウス混合データに対する一般化線形推定問題と,単一インデックスモデルによるラベルについて考察する。 最初の結果は、高次元状態におけるテストおよびトレーニングエラーに対する鋭い漸近表現である。 一般線形推定におけるテストのガウス的普遍性に関する最近の結果の流れと訓練誤差に触発されて、我々は「誤りを特徴づけるだけのガウス的は存在しないのか?」という疑問を自問する。 我々の公式は、正方向と負方向の両方において、この問題に鋭い答えを与えることができる。 より正確には、ガウス普遍性(あるいはその欠如)の十分条件が、我々が正確に定量化している混合クラスターの目標重みと平均と共分散のアライメントに決定的に依存していることを示す。 特に最小二乗補間の場合、訓練誤差の強い普遍性が証明され、単純で閉形式の表現に従うことが示される。 最後に,本研究の結果を実データセットに適用し,この文脈における誤差のガウス的普遍性に関する最近の議論を明らかにする。

関連論文リスト

• The Breakdown of Gaussian Universality in Classification of High-dimensional Mixtures [6.863637695977277]
  一般的な混合データ環境下での分類における経験的リスク最小化の高次元的特徴について述べる。 ガウス普遍性の条件を定義し、損失関数の選択に対するそれらの意味について議論する。
  論文  参考訳（メタデータ） (2024-10-08T01:45:37Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Deterministic equivalent and error universality of deep random features learning [4.8461049669050915]
  この問題は、広く研究されているランダム特徴モデルのより深いアーキテクチャへの自然な一般化と見なすことができる。 まず,学習者と対象ネットワークが同一の中間層を共有した普遍性リッジ設定において,テストエラーの普遍性を証明し,そのシャープな式を提供する。 第二に、任意の凸損失と一般的な学習/ターゲットアーキテクチャのより一般的な設定において、テストエラーの普遍性を予想する。
  論文  参考訳（メタデータ） (2023-02-01T12:37:10Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Asymptotics of Ridge Regression in Convolutional Models [26.910291664252973]
  特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。 畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
  論文  参考訳（メタデータ） (2021-03-08T05:56:43Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。