論文の概要: The Fourth Quadrant: A Stylized View of Benign Misfitting

• arxiv url: http://arxiv.org/abs/2608.01032v1
• Date: Sun, 02 Aug 2026 06:27:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.067813
• Title: The Fourth Quadrant: A Stylized View of Benign Misfitting
• Title（参考訳）: 第4四半期:ベニグマのミスフィッティングをスタイリッシュに
• Authors: Gireeja Ranade, Anant Sahai,
• Abstract要約: トレーニングエラーはトレーニングセットで観察できるものです。 決定論的 $(d+1)$-dimensional 単一スパイクモデルにおける2乗誤差を用いた線形回帰について検討する。
• 参考スコア（独自算出の注目度）: 7.714673156837411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training error is what we can observe on a training set; test error is the quantity we actually care about. We study linear regression with squared-error in a deterministic $(d+1)$-dimensional single-spike model. Each stylized training vector has the same informative spike coordinate, of amplitude $\sqrtγ$ with $γ>1$. The remaining directions are nuisance, and the nuisance components of distinct training vectors all have equal norm and are mutually orthogonal. The training labels are all $1$. Fresh test points are drawn from $\vec{x}_{\rm test} \sim \mathcal{N}(\vec{0},\operatorname{diag}(γ,1,\ldots,1))$, with the noise-free test labels being the normalized spike coordinate $x_{\rm test}[1]/\sqrtγ$. We focus on linear predictors in the span of the training vectors, the class naturally reached by zero-initialized linear gradient methods. We exhibit a range of training-set sizes $n$ in which every span predictor that generalizes well must fit the training data \emph{worse} than the zero predictor. We call this regime \emph{benign misfitting}, or the fourth quadrant. The best span predictor begins to generalize when $n\gg d/γ^2$, while interpolation does not generalize until the later threshold $n\gg d/γ$. In the window $d/γ^2 \ll n \ll d/γ$, useful prediction within the linear span lies beyond interpolation: predictions on the training points overshoot the labels. We show that one-pass stochastic gradient descent (SGD), with a large constant learning rate, reaches small test error throughout this window---matching the best span predictor up to a logarithmic factor. We also verify directly that it indeed has \emph{large} empirical training error (despite the descent premise in its name). Finally, we show that the unavoidable nuisance component responsible for the training misfit also controls the predictor's adversarial sensitivity.
• Abstract（参考訳）: トレーニングエラーはトレーニングセットで観察できるものです。 決定論的 $(d+1)$-dimensional 単一スパイクモデルにおける2乗誤差を用いた線形回帰について検討する。 各スタイリングされたトレーニングベクトルは同じ情報スパイク座標を持ち、振幅$\sqrtγ$と$γ>1$である。 残りの方向はニュアンスであり、異なる訓練ベクトルのニュアンス成分はすべて等しいノルムを持ち、互いに直交する。 トレーニングラベルはすべて1ドルです。 新鮮なテストポイントは $\vec{x}_{\rm test} \sim \mathcal{N}(\vec{0},\operatorname{diag}(γ,1,\ldots,1))$ から引き出され、ノイズのないテストラベルは正規化されたスパイク座標 $x_{\rm test}[1]/\sqrtγ$ である。 学習ベクトルのスパンにおける線形予測子に焦点をあて、クラスはゼロ初期化線形勾配法によって自然に到達した。 我々は、よく一般化する全てのスパン予測器がゼロ予測器よりも訓練データ \emph{worse} に適合しなければならない訓練セットサイズを$n$で示している。 我々はこの体制を、四番目の四分法(emph{benign misfitting})と呼ぶ。 最良のスパン予測子は$n\gg d/γ^2$のときに一般化し始め、補間は後のしきい値$n\gg d/γ$まで一般化しない。 ウィンドウ$d/γ^2 \ll n \ll d/γ$ では、線形スパン内の有用な予測は補間を超える。 本研究では,一パス確率勾配勾配 (SGD) の学習速度が一定であることから,このウィンドウ全体での誤差が小さく,対数係数まで最高のスパン予測器をマッチングすることを示した。 また、その名前の降下前提にも拘わらず、実際に 'emph{large} 経験的トレーニングエラーがあることを直接検証する。 最後に、トレーニングミスフィットの原因となる避けられないニュアンス成分が、予測器の対角感度を制御していることを示す。

関連論文リスト

• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
  パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。 次に、降下によって訓練された線形ネットワークについて研究する。
  論文  参考訳（メタデータ） (2025-09-25T13:59:22Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Optimal Rates of Kernel Ridge Regression under Source Condition in Large Dimensions [15.988264513040903]
  そこで,カーネルリッジ回帰 (KRR) の大規模挙動について検討し,サンプルサイズ$n asymp dgamma$ for some $gamma > 0$について検討した。 以上の結果から,ガンマ$で変動する速度曲線は周期的台地挙動と多重降下挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-02T16:14:35Z)
• Self-Directed Linear Classification [50.659479930171585]
  オンライン分類では、学習者は、誤りの総数を最小限に抑えるために、オンラインでラベルを予測することを目的としている。 そこで本研究では,予測順序の選択能力について検討し,最低次学習とランダム次学習の分離を初めて確立する。
  論文  参考訳（メタデータ） (2023-08-06T15:38:44Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Memorize to Generalize: on the Necessity of Interpolation in High Dimensional Linear Regression [6.594338220264161]
  機械学習問題における最適な予測リスクを達成するには、トレーニングデータを補間する必要がある。 この設定では、トレーニングエラーで予測(テスト)エラーが必ずスケールするかを特徴付ける。 最適な性能には、問題の固有のノイズフロアよりもかなり高い精度でトレーニングデータを取り付ける必要がある。
  論文  参考訳（メタデータ） (2022-02-20T18:51:45Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• How isotropic kernels perform on simple invariants [0.5729426778193397]
  等方性カーネル手法のトレーニング曲線は、学習すべきタスクの対称性に依存するかを検討する。 大規模な帯域幅では、$beta = fracd-1+xi3d-3+xi$, where $xiin (0,2)$ がカーネルのストライプを原点とする指数であることを示す。
  論文  参考訳（メタデータ） (2020-06-17T09:59:18Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。