論文の概要: Universality of High-Dimensional Logistic Regression and a Novel CGMT under Block Dependence with Applications to Data Augmentation

• arxiv url: http://arxiv.org/abs/2502.15752v1
• Date: Mon, 10 Feb 2025 18:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 03:22:51.148075
• Title: Universality of High-Dimensional Logistic Regression and a Novel CGMT under Block Dependence with Applications to Data Augmentation
• Title（参考訳）: ブロック依存下における高次元ロジスティック回帰と新しいCGMTの普遍性とデータ拡張への応用
• Authors: Matthew Esmaili Mallory, Kevin Han Huang, Morgane Austern,
• Abstract要約: ガウス普遍性はブロック依存下での高次元ロジスティック回帰を保っていることを示す。 我々は、深層学習における広範な実践であるデータ強化がリスクに与える影響を確立する。
• 参考スコア（独自算出の注目度）: 6.092792437962955
• License:
• Abstract: Over the last decade, a wave of research has characterized the exact asymptotic risk of many high-dimensional models in the proportional regime. Two foundational results have driven this progress: Gaussian universality, which shows that the asymptotic risk of estimators trained on non-Gaussian and Gaussian data is equivalent, and the convex Gaussian min-max theorem (CGMT), which characterizes the risk under Gaussian settings. However, these results rely on the assumption that the data consists of independent random vectors, an assumption that significantly limits its applicability to many practical setups. In this paper, we address this limitation by generalizing both results to the dependent setting. More precisely, we prove that Gaussian universality still holds for high-dimensional logistic regression under block dependence, and establish a novel CGMT framework that accommodates for correlation across both the covariates and observations. Using these results, we establish the impact of data augmentation, a widespread practice in deep learning, on the asymptotic risk.
• Abstract（参考訳）: 過去10年間で、研究の波は比例的な状態にある多くの高次元モデルの正確な漸近リスクを特徴付けてきた。 ガウス的普遍性(英: Gaussian universality)は、非ガウス的およびガウス的データに基づいて訓練された推定者の漸近的リスクが等価であることを示し、ガウス的設定の下でのリスクを特徴づける凸ガウス的ミンマックス定理(英: convex Gaussian min-max theorem, CGMT)である。 しかし、これらの結果は、データが独立したランダムベクトルで構成されているという仮定に依存しており、多くの実用的な設定にその適用性を著しく制限する仮定である。 本稿では、この制限を、両方の結果を依存した設定に一般化することで解決する。 より正確には、ガウスの普遍性はブロック依存下での高次元ロジスティック回帰を保ち、共変量と観測の両方の相関を許容する新しいCGMTフレームワークを確立する。 これらの結果を用いて、深層学習における広範な実践であるデータ拡張が漸近的リスクに与える影響を確定する。

関連論文リスト

• The Breakdown of Gaussian Universality in Classification of High-dimensional Mixtures [6.863637695977277]
  一般的な混合データ環境下での分類における経験的リスク最小化の高次元的特徴について述べる。 ガウス普遍性の条件を定義し、損失関数の選択に対するそれらの意味について議論する。
  論文  参考訳（メタデータ） (2024-10-08T01:45:37Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Ridge interpolators in correlated factor regression models -- exact risk analysis [0.0]
  我々は、相関型エンフェール回帰モデル(FRM)を考察し、古典的なリッジ補間器の性能を解析する。 我々は,すべてのキーモデルパラメータへの依存性を明確に示し,予測リスクのキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2024-06-13T14:46:08Z)
• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。