論文の概要: Rethinking Benign Overfitting in Two-Layer Neural Networks

• arxiv url: http://arxiv.org/abs/2502.11893v1
• Date: Mon, 17 Feb 2025 15:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:15:31.973610
• Title: Rethinking Benign Overfitting in Two-Layer Neural Networks
• Title（参考訳）: 2層ニューラルネットワークにおける良性オーバーフィッティングの再考
• Authors: Ruichen Xu, Kexin Chen,
• Abstract要約: 我々は、クラス依存の異種ノイズを取り入れて特徴雑音データモデルを洗練し、ニューラルネットワークにおける過剰適合現象を再検討する。 ニューラルネットワークは、以前は有害と考えられていた「データノイズ」を利用して、長い尾を持つデータの分類精度を向上させる暗黙的な特徴を学習できることがわかった。
• 参考スコア（独自算出の注目度）: 2.486161976966064
• License:
• Abstract: Recent theoretical studies (Kou et al., 2023; Cao et al., 2022) have revealed a sharp phase transition from benign to harmful overfitting when the noise-to-feature ratio exceeds a threshold-a situation common in long-tailed data distributions where atypical data is prevalent. However, harmful overfitting rarely happens in overparameterized neural networks. Further experimental results suggested that memorization is necessary for achieving near-optimal generalization error in long-tailed data distributions (Feldman & Zhang, 2020). We argue that this discrepancy between theoretical predictions and empirical observations arises because previous feature-noise data models overlook the heterogeneous nature of noise across different data classes. In this paper, we refine the feature-noise data model by incorporating class-dependent heterogeneous noise and re-examine the overfitting phenomenon in neural networks. Through a comprehensive analysis of the training dynamics, we establish test loss bounds for the refined model. Our findings reveal that neural networks can leverage "data noise", previously deemed harmful, to learn implicit features that improve the classification accuracy for long-tailed data. Experimental validation on both synthetic and real-world datasets supports our theoretical results.
• Abstract（参考訳）: 近年の理論的研究 (Kou et al , 2023; Cao et al , 2022) により, 非典型的データが普及する長大データ分布において, ノイズ・ツー・フェイル比がしきい値を超えた場合, 良性から有害なオーバーフィッティングへの急激な位相遷移が明らかにされている。 しかし、過度にパラメータ化されたニューラルネットワークでは有害なオーバーフィッティングはめったに起こらない。 さらに実験結果から,長い尾を持つデータ分布(Feldman & Zhang, 2020)において,準最適一般化誤差を達成するためには,暗記が必要であることが示唆された。 このような理論的予測と経験的観測の相違は、従来の特徴雑音データモデルが様々なデータクラスにまたがるノイズの異質性を見落としているために生じると論じる。 本稿では,クラス依存の異種ノイズを取り入れた特徴雑音データモデルを改良し,ニューラルネットワークにおける過度適合現象を再検討する。 トレーニングダイナミクスの包括的解析を通じて、精巧なモデルに対するテスト損失境界を確立する。 ニューラルネットワークは、以前は有害と考えられていた「データノイズ」を利用して、長い尾を持つデータの分類精度を向上させる暗黙的な特徴を学習できることがわかった。 合成および実世界の両方のデータセットに対する実験的検証は、我々の理論的結果を支持する。

関連論文リスト

• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization [27.39922946288783]
  ニューラルネットワークが合成データセットのトレーニング中にどのように形状バイアスを示すかを検討する。 形状バイアスはネットワークアーキテクチャや監視の種類によって異なる。 本稿では,データセット内のサンプルの多様性を推定するためのツールとして,新しい形状バイアスの解釈を提案する。
  論文  参考訳（メタデータ） (2023-11-10T18:25:44Z)
• Deep Double Descent via Smooth Interpolation [2.141079906482723]
  我々は、各トレーニングポイントに局所的な入力変数に対する損失ランドスケープw.r.t.を研究することにより、トレーニングデータの適合性の鋭さを定量化する。 以上の結果から,入力空間における損失のシャープネスは,モデル・アンド・エポシカルな2重降下に追随することが明らかとなった。 小さな補間モデルはクリーンデータとノイズデータの両方に強く適合するが、大きな補間モデルは既存の直観とは対照的にスムーズなロスランドスケープを表現している。
  論文  参考訳（メタデータ） (2022-09-21T02:46:13Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。