論文の概要: Benign Overfitting for General Norms and Distributions

• arxiv url: http://arxiv.org/abs/2609.33675v1
• Date: Sun, 27 Sep 2026 15:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:46:54.531241
• Title: Benign Overfitting for General Norms and Distributions
• Title（参考訳）: 一般ノルム・流通の便益オーバーフィッティング
• Abstract要約: 一般ノルムおよび一般(準ガウス)分布に対する線形回帰における良性オーバーフィッティングを解析する手法を開発した。 この証明は,高次元の場合においてほぼユークリッドであることを示すために,集中度と中央限度ツールを用いて,双対最適化問題の幾何学を解析する。
• 参考スコア（独自算出の注目度）: 26.518651842868135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding why predictors can generalize despite interpolating noisy training data is a central puzzle in machine learning. Most work on such "benign overfitting" studies minimum-2-norm linear regression, reflecting the inductive bias of gradient descent. However, modern optimizers such as Adam and Muon use non-Euclidean update geometries, favoring solutions associated with other norms. Analyzing regression for non-Euclidean norms is substantially more difficult, with known results essentially limited to Gaussians. In this paper, we develop a method to analyze benign overfitting in linear regression for general norms and general (sub-Gaussian) distributions. As a special case, we prove that minimum-p-norm interpolation with p>1 can benignly overfit even for non-Gaussian distributions, under suitable conditions. Perhaps surprisingly, for the 1-norm, benign overfitting does not hold in general for well-behaved (but non-Gaussian) distributions, showing that existing positive 1-norm results rely crucially on Gaussianity. Our proof analyzes the geometry of the dual optimization problem, using concentration and central limit tools to show it is approximately Euclidean in many high-dimensional cases.
• Abstract（参考訳）: ノイズの多いトレーニングデータを補間しながら予測者が一般化できる理由を理解することは、機械学習における中心的なパズルである。 このような「良性オーバーフィッティング」の研究の多くは、勾配降下の帰納バイアスを反映して、最小2-ノルム線形回帰を研究する。 しかし、Adam や Muon のような現代のオプティマイザは非ユークリッド更新ジオメトリを使用し、他のノルムに関連する解決策を好んでいる。 非ユークリッドノルムの回帰解析はより困難であり、既知の結果は基本的にガウスに限られる。 本稿では,一般ノルムと一般(ガウス下)分布の線形回帰における良性オーバーフィッティングを解析する手法を開発する。 特別な場合として、p>1 の最小p-ノルム補間は、適切な条件下では、非ガウス分布に対しても一意に過剰であることを示す。 意外なことに、1-ノルムに対して、良性オーバーフィッティングは一般的に、(しかし非ガウス的な)分布に当てはまるものではなく、既存の正の1-ノルムの結果がガウス性に決定的に依存していることを示している。 この証明は,高次元の場合においてほぼユークリッドであることを示すために,集中度と中央限度ツールを用いて,双対最適化問題の幾何学を解析する。

関連論文リスト

• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Minimum Norm Interpolation via The Local Theory of Banach Spaces: The Role of $2$-Uniform Convexity [4.234046389084922]
  我々は一様凸性仮定の下で最小ノルム補間器(MNI)について検討する。 我々は、$p in bigl (1 + C/log d, 2bigr)$ のとき、$ell_p$-MNI に対して鋭い一般化境界を証明している。
  論文  参考訳（メタデータ） (2026-03-30T19:59:59Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Harmful Overfitting in Sobolev Spaces [49.47221415754556]
  ソボレフ空間$Wk, p(mathbbRd)$における関数の一般化挙動を、ノイズの多いトレーニングデータセットに完全に適合するものとして研究する。 約ノルム最小化補間器は、滑らかさバイアスによって選択される正準解であり、有害なオーバーフィッティングを示す。 我々の証明では,ソボレフの不等式を用いたトレーニングデータの有害な近傍を同定する幾何学的議論を用いている。
  論文  参考訳（メタデータ） (2026-01-31T17:40:56Z)
• Are Gaussian data all you need? Extents and limits of universality in high-dimensional generalized linear estimation [24.933476324230377]
  単一インデックスモデルによるラベル付きガウス混合データに対する一般化線形推定の問題点を考察する。 一般線形推定におけるテストとトレーニングエラーの普遍性に関する最近の結果のストリームに触発されて、我々は自問自答する。
  論文  参考訳（メタデータ） (2023-02-17T14:56:40Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting [35.78863301525758]
  任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
  論文  参考訳（メタデータ） (2021-06-17T06:58:10Z)
• Generalized Linear Models with Structured Sparsity Estimators [0.0]
  一般化線形モデル損失における構造的疎度推定器を導入する。 構成スパーシティ推定手段は、選択されたノルムで使用されるスパーシティ構造を備えたペナルティ損失関数である。
  論文  参考訳（メタデータ） (2021-04-29T14:31:01Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications [6.034622792544481]
  ガウス行列が集合上の近距離等距離となる場合について検討する。 我々は、ガウス以下のノルムに対するこれまでの最もよく知られた依存は準最適であることを示した。 また、部分指数確率変数に対する新しいベルンシュタイン型不等式や、準ガウス確率変数の二次形式に対する新しいハンソン-ライト不等式も開発する。
  論文  参考訳（メタデータ） (2020-01-28T23:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。