論文の概要: Asymptotic Analysis of Empirical Risk Minimization on Entry-wise i.i.d. Heavy-Tailed Data

• arxiv url: http://arxiv.org/abs/2610.07637v1
• Date: Tue, 06 Oct 2026 02:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.759537
• Title: Asymptotic Analysis of Empirical Risk Minimization on Entry-wise i.i.d. Heavy-Tailed Data
• Title（参考訳）: 経験的リスク最小化の漸近分析
• Abstract要約: この研究は、各係数に付随するランダム有効問題を記述した関数順序パラメータを導入する。 レプリカ法を用いて,比例的高次元極限における一般化誤差を完全に特徴づける。 この分析はヘビーテール法則を確立し、典型的なエラーと予測信頼性とベイズ最適予測誤差に関連する法則をスケーリングする。
• 参考スコア（独自算出の注目度）: 8.347662730632047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world datasets exhibit unusually large values far more frequently than predicted by Gaussian models. Heavy-tailed distributions capture this behavior, yet evaluating learning performance under them remains challenging because rare, large feature entries retain non-vanishing effects even in high dimensions. Even in the canonical setting of empirical risk minimization for linear regression with entry-wise i.i.d. symmetric $α$-stable data, a precise asymptotic characterization of prediction has been lacking. In this work, we introduce a functional order parameter that describes the random effective problem associated with each coefficient. Using the replica method, we fully characterize the generalization error in the proportional high-dimensional limit where the sample size and feature dimension diverge at a fixed ratio. Additionally, this analysis establishes a heavy-tail universality law, scaling laws relating typical errors to prediction reliability, and the Bayes-optimal prediction error. In addition to characterizing the effects of extreme entries on the learning process, our method applies broadly to other systems with persistent local heterogeneity.
• Abstract（参考訳）: 多くの実世界のデータセットは、ガウスモデルによって予測されるよりもはるかに頻繁に異常に大きな値を示す。 重い尾の分布は、この振る舞いを捉えるが、その下での学習性能を評価することは困難である。 線形回帰に対する経験的リスク最小化の標準設定において、例えば対称$α$-stableデータを用いた場合でさえ、予測の正確な漸近的特徴が欠如している。 本研究では,各係数に関連付けられたランダム有効問題を記述した関数順序パラメータを提案する。 レプリカ法を用いて,サンプルサイズと特徴次元が一定比で分岐する比例的高次元限界における一般化誤差を,完全に特徴づける。 さらに、この分析は、重み付き普遍性法則、典型的なエラーと予測信頼性に関するスケーリング法則、ベイズ最適予測誤差を定めている。 本手法は,学習過程における極端なエントリの影響を特徴づけるだけでなく,局所的不均一性を有する他のシステムにも広く適用できる。

関連論文リスト

• Overfitting has a limitation: a model-independent generalization error bound based on Rényi entropy [5.011668820933222]
  本稿では,データヒストグラムのみにより出力が決定されるアルゴリズムに適用可能な一般化誤差に対するモデル独立上界を提案する。 このフレームワークは、データにランダムノイズを注入することで、一般化性能が著しく低下する現象について、直接的な説明を提供する。 我々は、ノー・フリー・ランチの定理をデータ分布依存に適応させ、R'enyiエントロピーに対応するデータの量が実際に学習の成功に不可欠であることを証明した。
  論文  参考訳（メタデータ） (2025-05-30T19:41:37Z)
• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
  統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。 一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
  論文  参考訳（メタデータ） (2024-02-21T08:50:33Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。