論文の概要: How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?

• arxiv url: http://arxiv.org/abs/2510.17526v1
• Date: Mon, 20 Oct 2025 13:28:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.466544
• Title: How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?
• Title（参考訳）: 低SNRレジームにおけるラベルノイズの勾配が一般化をいかに改善するか
• Authors: Wei Huang, Andi Han, Yujin Song, Yilan Chen, Denny Wu, Difan Zou, Taiji Suzuki,
• Abstract要約: 我々は、勾配更新にラベルノイズを導入することで、ニューラルネットワーク(NN)のテスト性能が向上するかどうか検討する。 学習中のラベルノイズの付加は,学習過程を支配することを防止し,雑音の記憶を抑制することを実証する。 対照的に、標準GDで訓練されたNNは、同じ低SNR環境でのノイズに過度に適応する傾向にある。
• 参考スコア（独自算出の注目度）: 78.0226274470175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The capacity of deep learning models is often large enough to both learn the underlying statistical signal and overfit to noise in the training set. This noise memorization can be harmful especially for data with a low signal-to-noise ratio (SNR), leading to poor generalization. Inspired by prior observations that label noise provides implicit regularization that improves generalization, in this work, we investigate whether introducing label noise to the gradient updates can enhance the test performance of neural network (NN) in the low SNR regime. Specifically, we consider training a two-layer NN with a simple label noise gradient descent (GD) algorithm, in an idealized signal-noise data setting. We prove that adding label noise during training suppresses noise memorization, preventing it from dominating the learning process; consequently, label noise GD enjoys rapid signal growth while the overfitting remains controlled, thereby achieving good generalization despite the low SNR. In contrast, we also show that NN trained with standard GD tends to overfit to noise in the same low SNR setting and establish a non-vanishing lower bound on its test error, thus demonstrating the benefit of introducing label noise in gradient-based training.
• Abstract（参考訳）: ディープラーニングモデルの能力は、基礎となる統計信号を学習し、トレーニングセットのノイズに過度に適合するのに十分であることが多い。 このノイズ記憶は、特に信号対雑音比(SNR)の低いデータに対して有害であり、一般化の低さにつながる。 本研究は,ラベルノイズが一般化を改善する暗黙の正規化を提供するという先行観測に触発されて,低SNRにおけるニューラルネットワーク(NN)のテスト性能を高めることができるかを検討する。 具体的には、信号-雑音データ設定において、単純なラベル雑音勾配勾配(GD)アルゴリズムを用いて2層NNを訓練することを検討する。 トレーニング中のラベルノイズの追加は、ノイズ記憶を抑制し、学習過程を支配できないことを示し、その結果、ラベルノイズGDは、オーバーフィッティングが制御されている間、急速な信号成長を享受し、低SNRにもかかわらず良好な一般化を実現する。 対照的に、標準GDで訓練されたNNは、同じ低SNR設定のノイズに過度に適応し、テストエラーの非消滅的下限を確立する傾向にあり、これにより、勾配に基づくトレーニングにラベルノイズを導入する利点が示される。

関連論文リスト

• Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
  ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。 NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-14T13:31:34Z)
• Noise Augmented Fine Tuning for Mitigating Hallucinations in Large Language Models [1.0579965347526206]
  大規模言語モデル(LLM)は、しばしば不正確な、または誤解を招くコンテンツ・ハロシンを生成する。 noise-Augmented Fine-Tuning (NoiseFiT) は適応ノイズ注入を利用してモデルロバスト性を高める新しいフレームワークである。 NoiseFiTは、動的にスケールしたガウス雑音を用いて、高SNR(より堅牢)または低SNR(潜在的に過正規化)と同定された層を選択的に摂動する。
  論文  参考訳（メタデータ） (2025-04-04T09:27:19Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Per-Example Gradient Regularization Improves Learning Signals from Noisy Data [25.646054298195434]
  実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
  論文  参考訳（メタデータ） (2023-03-31T10:08:23Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Zero-shot Blind Image Denoising via Implicit Neural Representations [77.79032012459243]
  暗黙的ニューラル表現(INR)のアーキテクチャ的帰納的バイアスを利用した代替的認知戦略を提案する。 提案手法は,低雑音シナリオや実雑音シナリオの広い範囲において,既存のゼロショット復調手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T12:46:36Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。