論文の概要: The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks

• arxiv url: http://arxiv.org/abs/2603.02293v1
• Date: Mon, 02 Mar 2026 16:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.50498
• Title: The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks
• Title（参考訳）: 異常アンテナ:過パラメータネットワークにおけるラベルノイズのスペクトル分離
• Authors: Zice Wang,
• Abstract要約: ネットワークが機能的に信号とノイズを分離する障害モードであるMorignant Tailを実験的に分離する。 トレーニングされていないネットワークは、ノイズを積極的に分離し、ノイズに支配されたサブスペースを外科的にプルークするポストホックスペクトルトラニケーションを実現する。 以上の結果から,ラベルノイズ下では,余剰スペクトル容量は無害な冗長性ではなく,構造的負債が潜んでいることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While implicit regularization facilitates benign overfitting in low-noise regimes, recent theoretical work predicts a sharp phase transition to harmful overfitting as the noise-to-signal ratio increases. We experimentally isolate the geometric mechanism of this transition: the Malignant Tail, a failure mode where networks functionally segregate signal and noise, reducing coherent semantic features into low-rank subspaces while pushing stochastic label noise into high-frequency orthogonal components, distinct from systematic or corruption-aligned noise. Through a Spectral Linear Probe of training dynamics, we demonstrate that Stochastic Gradient Descent (SGD) fails to suppress this noise, instead implicitly biasing it toward high-frequency orthogonal subspaces, effectively preserving signal-noise separability. We show that this geometric separation is distinct from simple variance reduction in untrained models. In trained networks, SGD actively segregates noise, allowing post-hoc Explicit Spectral Truncation (d << D) to surgically prune the noise-dominated subspace. This approach recovers the optimal generalization capability latent in the converged model. Unlike unstable temporal early stopping, Geometric Truncation provides a stable post-hoc intervention. Our findings suggest that under label noise, excess spectral capacity is not harmless redundancy but a latent structural liability that allows for noise memorization, necessitating explicit rank constraints to filter stochastic corruptions for robust generalization.
• Abstract（参考訳）: 暗黙的な正規化は低雑音状態における良性過剰適合を促進するが、近年の理論的研究はノイズ-信号比が増加するにつれて有害過剰適合への急激な相転移を予測している。 ネットワークが機能的に信号とノイズを分離する障害モードであるMorignant Tailは、確率ラベルノイズを高周波数直交成分にプッシュしながら、低ランク部分空間にコヒーレントな意味的特徴を還元する。 学習力学のスペクトル線形プローブを用いて、確率勾配Descent (SGD) がこの雑音を抑えず、代わりに暗黙的に高周波直交部分空間に偏り、信号ノイズ分離性を効果的に保存することを示した。 この幾何学的分離は、訓練されていないモデルの単純な分散還元とは異なることを示す。 訓練されたネットワークでは、SGDは積極的にノイズを分離し、ノイズに支配されたサブスペースを外科的にプルークするポストホックなスペクトルトランケーション(d<<D)を可能にする。 このアプローチは収束モデルにおける最適一般化能力を回復する。 不安定な時間的早期停止とは異なり、幾何学的トランケーションはホット後の安定した介入を提供する。 本研究は, ラベルノイズ下では, 余剰スペクトル容量は無害な冗長性ではなく, 雑音記憶を許容する構造的負債であり, 頑健な一般化のために確率的腐敗をフィルタするためには, 明示的なランク制約を必要とすることを示唆する。

関連論文リスト

• Stabilizing Diffusion Posterior Sampling by Noise--Frequency Continuation [52.736416985173776]
  高雑音下では、不正確な推定から計算されたデータ一貫性勾配は、後部幾何学と幾何的に一致しない。 本稿では、雑音依存周波数帯域内でのみ測定一貫性を強制する中間部分の連続的なファミリを構成するノイズ周波数継続フレームワークを提案する。 提案手法は最先端性能を実現し,強いベースライン上で最大5dBのPSNRの動作劣化を改善する。
  論文  参考訳（メタデータ） (2026-01-30T03:14:01Z)
• PRISM: Deriving the Transformer as a Signal-Denoising Operator via Maximum Coding Rate Reduction [0.0]
  ディープラーニングのためのホワイトボックスアテンションベースのアーキテクチャであるPrismを提案する。 プリズムは、その注意をスペクトル的に異なる体制に自然に専門化していることが示される。 以上の結果から,解釈可能性と性能はトレードオフではなく,原理的な構成によって統一可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-21T23:52:36Z)
• Noise-Adaptive Regularization for Robust Multi-Label Remote Sensing Image Classification [5.658568324275769]
  付加音と減音音を区別する雑音適応正規化法であるNARを提案する。 NARは、既存の方法と比較して、一貫して堅牢性を改善する。 性能改善は、減音と混合ノイズの下で最も顕著である。
  論文  参考訳（メタデータ） (2026-01-13T11:16:45Z)
• The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
  構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。 最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値 を抑えることを示す。 ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
  論文  参考訳（メタデータ） (2026-01-05T13:09:42Z)
• Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
  ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。 NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-14T13:31:34Z)
• Noise Balance and Stationary Distribution of Stochastic Gradient Descent [10.621129623557884]
  損失関数が再スケーリングパラメータ対称性を含む場合, SGD のミニバッチノイズは, 雑音平衡解に対する解を正則化することを示す。 単純な拡散過程とSGD力学の違いは対称性が存在するときに最も重要であるため、この理論は損失関数対称性がSGDの働きの本質的なプローブとなることを示唆している。 この結果を用いて,任意の深さと幅を持つ対角線ネットワークにおける勾配流の定常分布を導出する。
  論文  参考訳（メタデータ） (2023-08-13T03:13:03Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [80.20339155618612]
  DiffusionADは、再構成サブネットワークとセグメンテーションサブネットワークからなる、新しい異常検出パイプラインである。 高速なワンステップデノゲーションパラダイムは、同等の再現品質を維持しながら、数百倍の加速を達成する。 異常の出現の多様性を考慮し、複数のノイズスケールの利点を統合するためのノルム誘導パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• High-Order Qubit Dephasing at Sweet Spots by Non-Gaussian Fluctuators: Symmetry Breaking and Floquet Protection [55.41644538483948]
  非ガウスゆらぎによるqubit dephasingについて検討した。 非ガウス雑音に特有の対称性破壊効果を予測する。
  論文  参考訳（メタデータ） (2022-06-06T18:02:38Z)
• Resonance in Weight Space: Covariate Shift Can Drive Divergence of SGD with Momentum [26.25434025410027]
  既存の研究は、崩壊するステップサイズを持つSGDmがマルコフ時間相関の下で収束できることを示した。 本研究は, 一定段径の共変量シフト下でのSGDmが不安定かつ分散可能であることを示す。 通常の微分方程式の時間変化系として学習システムを近似し、既存の理論を活用し、系の発散/収束を共鳴/非共鳴モードとして特徴づける。
  論文  参考訳（メタデータ） (2022-03-22T18:38:13Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。