論文の概要: Benign Overfitting in Linear Classifiers with a Bias Term

• arxiv url: http://arxiv.org/abs/2511.12840v1
• Date: Sun, 16 Nov 2025 23:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.574036
• Title: Benign Overfitting in Linear Classifiers with a Bias Term
• Title（参考訳）: バイアス項付き線形分類器の便宜オーバーフィッティング
• Authors: Yuta Kondo,
• Abstract要約: 完全補間ノイズデータにもかかわらず,多数のパラメータを持つ機械学習モデルはよく一般化されていることを示す。 偏見項の存在は、一般化に必要なデータの共分散構造に新たな制約をもたらす。 この研究は、良性過剰適合のより完全な図面を提供し、偏見項が良い一般化に必要な条件に対する非自明な影響を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning models with a large number of parameters often generalize well despite perfectly interpolating noisy training data - a phenomenon known as benign overfitting. A foundational explanation for this in linear classification was recently provided by Hashimoto et al. (2025). However, this analysis was limited to the setting of "homogeneous" models, which lack a bias (intercept) term - a standard component in practice. This work directly extends Hashimoto et al.'s results to the more realistic inhomogeneous case, which incorporates a bias term. Our analysis proves that benign overfitting persists in these more complex models. We find that the presence of the bias term introduces new constraints on the data's covariance structure required for generalization, an effect that is particularly pronounced when label noise is present. However, we show that in the isotropic case, these new constraints are dominated by the requirements inherited from the homogeneous model. This work provides a more complete picture of benign overfitting, revealing the non-trivial impact of the bias term on the conditions required for good generalization.
• Abstract（参考訳）: 膨大なパラメータを持つ現代の機械学習モデルは、完全に補間されたノイズのトレーニングデータにもかかわらず、しばしばよく一般化される。 線形分類の基本的な説明は、近年橋本らによって提供された(2025年)。 しかし、この分析は、実際には標準コンポーネントであるバイアス(概念)項が欠けている「均一」モデルの設定に限られていた。 この研究は、橋本らの結果を直接、バイアス項を含むより現実的な不均一なケースに拡張する。 我々の分析は、これらのより複雑なモデルにおいて、良心過剰適合が持続することを示した。 バイアス項の存在は、一般化に必要なデータの共分散構造に新たな制約をもたらす。 しかし、等方性の場合、これらの新しい制約は同次モデルから受け継がれた要求に支配される。 この研究は、良性過剰適合のより完全な図面を提供し、偏見項が良い一般化に必要な条件に対する非自明な影響を明らかにする。

関連論文リスト

• A Classical View on Benign Overfitting: The Role of Sample Size [14.36840959836957]
  モデルは任意に小さなトレーニングとテストエラーの両方を同時に達成する。 この振舞いはニューラルネットワークの特徴であり、しばしば低い(しかしゼロではない)トレーニングエラーを達成するが、それでもよく一般化される。
  論文  参考訳（メタデータ） (2025-05-16T18:37:51Z)
• Universality of Benign Overfitting in Binary Linear Classification [1.6385815610837167]
  深層ニューラルネットワークは、過度にパラメータ化された状態において、うまく一般化しているようだ。 現在、様々な古典的な統計モデルにも良性過剰適合が生じることが知られている。
  論文  参考訳（メタデータ） (2025-01-17T20:22:06Z)
• Grokking at the Edge of Linear Separability [1.024113475677323]
  グルーキングは非単調なテスト損失行動を伴う一般化が遅れている。 問題のパラメータが臨界点に近くても、グラッキングは自然に発生する。
  論文  参考訳（メタデータ） (2024-10-06T14:08:42Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• On how to avoid exacerbating spurious correlations when models are overparameterized [33.315813572333745]
  VS-lossは、たとえスプリアス機能が強いとしても、マイノリティに公平なモデルを学ぶことを示す。 これまでの研究と比較すると、我々の境界はより一般的なモデルであり、それらは漸近的ではなく、極端な不均衡のシナリオにも適用される。
  論文  参考訳（メタデータ） (2022-06-25T21:53:44Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。