論文の概要: Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension

• arxiv url: http://arxiv.org/abs/2205.13303v1
• Date: Thu, 26 May 2022 12:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 13:49:51.541348
• Title: Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension
• Title（参考訳）: 高次元におけるランダムラベル付き線形分類器のガウス普遍性
• Authors: Federica Gerace, Florent Krzakala, Bruno Loureiro, Ludovic Stephan, Lenka Zdeborov\'a
• Abstract要約: 高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
• 参考スコア（独自算出の注目度）: 24.503842578208268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While classical in many theoretical settings, the assumption of Gaussian i.i.d. inputs is often perceived as a strong limitation in the analysis of high-dimensional learning. In this study, we redeem this line of work in the case of generalized linear classification with random labels. Our main contribution is a rigorous proof that data coming from a range of generative models in high-dimensions have the same minimum training loss as Gaussian data with corresponding data covariance. In particular, our theorem covers data created by an arbitrary mixture of homogeneous Gaussian clouds, as well as multi-modal generative neural networks. In the limit of vanishing regularization, we further demonstrate that the training loss is independent of the data covariance. Finally, we show that this universality property is observed in practice with real datasets and random labels.
• Abstract（参考訳）: 多くの理論的な設定では古典的であるが、ガウス的i.d.入力の仮定は高次元学習の分析において強い制限と見なされることが多い。 本研究では,ランダムラベルを用いた一般化線形分類において,この一連の作業を再検討する。 私たちの主な貢献は、高次元における様々な生成モデルから得られるデータは、対応するデータ共分散を持つガウスデータと同じ最小トレーニング損失を持つという厳密な証明です。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。 消失正規化の限界において、トレーニング損失がデータ共分散とは無関係であることをさらに示す。 最後に、この普遍性は実際のデータセットやランダムラベルで実際に観察されることを示す。

関連論文リスト

• The Breakdown of Gaussian Universality in Classification of High-dimensional Mixtures [6.863637695977277]
  一般的な混合データ環境下での分類における経験的リスク最小化の高次元的特徴について述べる。 ガウス普遍性の条件を定義し、損失関数の選択に対するそれらの意味について議論する。
  論文  参考訳（メタデータ） (2024-10-08T01:45:37Z)
• Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems [2.375943263571389]
  逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。 本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。 我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
  論文  参考訳（メタデータ） (2024-01-29T22:52:57Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Are Gaussian data all you need? Extents and limits of universality in high-dimensional generalized linear estimation [24.933476324230377]
  単一インデックスモデルによるラベル付きガウス混合データに対する一般化線形推定の問題点を考察する。 一般線形推定におけるテストとトレーニングエラーの普遍性に関する最近の結果のストリームに触発されて、我々は自問自答する。
  論文  参考訳（メタデータ） (2023-02-17T14:56:40Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。