論文の概要: When is early stopping beneficial under label noise? A phase diagram for kernel gradient flow

• arxiv url: http://arxiv.org/abs/2610.33846v1
• Date: Sat, 24 Oct 2026 18:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.459938
• Title: When is early stopping beneficial under label noise? A phase diagram for kernel gradient flow
• Title（参考訳）: ラベルノイズ下で早期停止は有効か? : カーネル勾配流の位相図
• Abstract要約: ランダムラベルが正しく分類された後も、より大きく深い畳み込みネットワークにおいて早期停止の必要性は消滅する。 線形カーネルコンポーネントと高次コンポーネントのバランスによって制御される,鋭い高次元学習曲線と位相図を導出する。
• 参考スコア（独自算出の注目度）: 13.408904884821908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early stopping is commonly used to prevent fitting label noise from degrading generalization. Does this mean that, when a positive fraction of the training labels is intrinsically unpredictable, the best test error must occur before interpolation? Experiments on a CIFAR10 classification task with randomly labeled examples motivate the opposite possibility: although fixed-feature and shallow models exhibit late-time deterioration of the test error, the need for early stopping essentially disappears in larger, deeper convolutional networks even after the random labels have all been classified correctly. We determine when late-time deterioration disappears entirely in a solvable setting. For kernel gradient flow on a synthetic noisy classification task, we derive sharp high-dimensional learning curves and obtain a phase diagram controlled by the balance between the linear kernel component that learns the shared relation between inputs and labels and the higher-order components that enable fitting the label noise. In one regime, generalization is optimized at finite time and early stopping is necessary. In another, generalization improves until interpolation, but the endpoint is suboptimal across kernels. At the boundary, the interpolating endpoint attains the lowest generalization error across the considered kernel family and all training times. Thus, even with extensive irreducible label noise, interpolation can outperform early stopping. The neural-network experiments leave open how learned representations acquire an analogous favorable geometry.
• Abstract（参考訳）: 早期停止は、フィッティングラベルノイズが一般化を低下させるのを防ぐために一般的に用いられる。 これは、トレーニングラベルの正の比率が本質的に予測不可能である場合、補間前に最良のテストエラーが発生しなければならないことを意味するか? CIFAR10分類タスクにおいて、ランダムラベル付きサンプルを用いた実験は、逆の可能性を動機付けている: 固定機能モデルと浅部モデルでは、テストエラーの深夜劣化を示すが、ランダムラベルが正しく分類された後も、より大きくより深い畳み込みネットワークにおいて、早期停止の必要性は本質的に消失する。 リアルタイムの劣化が完全に解決可能な環境で消えるかどうかを判断する。 合成ノイズ分類タスク上でのカーネル勾配流に対して、鋭い高次元学習曲線を導出し、入力とラベルの共有関係を学習する線形カーネル成分と、ラベルノイズに適合可能な高次成分とのバランスによって制御される位相図を得る。 ある状態において、一般化は有限時間で最適化され、早期停止が必要である。 別の例では、一般化は補間まで改善されるが、エンドポイントはカーネル間で最適化されていない。 境界において、補間終端は、考慮されたカーネルファミリーと全てのトレーニング時間で最小の一般化誤差に達する。 これにより、広帯域の既約ラベルノイズであっても、補間は早期停止よりも優れる。 ニューラルネットワークの実験は、学習された表現が類似した好ましい幾何学をいかに獲得するかをオープンに残している。

関連論文リスト

• Minimax Optimal Early-Stopped Gradient Descent for Gaussian Mixture Classification [8.717253904965371]
  トレーニングデータは、基礎となる分布がそうでない場合でも線形分離可能である。 早期停止はこの亜最適性を克服できることを示す。 新しい校正結果は、過剰なロジスティックリスクを過剰なゼロワンリスクに変換する。
  論文  参考訳（メタデータ） (2026-08-06T16:41:00Z)
• Semi-Supervised Laplace Learning on Stiefel Manifolds [48.3427853588646]
  グラフベースで教師付きサンプルを低ラベルレートで作成するためのフレームワークSequential Subspaceを開発した。 我々の手法は極めて低いレートで、高いラベルレートで達成できる。
  論文  参考訳（メタデータ） (2023-07-31T20:19:36Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding [51.48582649050054]
  符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。 またNystromカーネル近似法であるKernel-Whiteningを提案する。 実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-14T05:56:38Z)
• Rethinking Initialization of the Sinkhorn Algorithm [36.72281550968301]
  データ依存型初期化器は、暗黙の微分が用いられる限り、微分可能性に影響を与えない、劇的なスピードアップをもたらすことを示す。 我々の手法は、1D、ガウス、GMM設定で知られている正確なOT解や近似OT解に対して閉形式に依存している。
  論文  参考訳（メタデータ） (2022-06-15T16:23:03Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [39.53312099194621]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。