論文の概要: Noisy Early Stopping for Noisy Labels
- arxiv url: http://arxiv.org/abs/2409.06830v1
- Date: Tue, 10 Sep 2024 19:15:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 16:29:39.561353
- Title: Noisy Early Stopping for Noisy Labels
- Title(参考訳): ノイズラベルの早期停止
- Authors: William Toner, Amos Storkey,
- Abstract要約: ノイズラベルで汚染されたデータセット上のニューラルネットワーク分類器のトレーニングは、オーバーフィッティングのリスクを著しく高める。
本研究は、多くの典型的な学習環境において、効果的な早期停止にはノイズフリーの検証セットは必要ないことを証明している。
代わりに、ノイズの多いデータセットで、ノイズの多いトレーニングセットと同じ分布から引き出された精度を監視することで、ほぼ最適結果が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training neural network classifiers on datasets contaminated with noisy labels significantly increases the risk of overfitting. Thus, effectively implementing Early Stopping in noisy label environments is crucial. Under ideal circumstances, Early Stopping utilises a validation set uncorrupted by label noise to effectively monitor generalisation during training. However, obtaining a noise-free validation dataset can be costly and challenging to obtain. This study establishes that, in many typical learning environments, a noise-free validation set is not necessary for effective Early Stopping. Instead, near-optimal results can be achieved by monitoring accuracy on a noisy dataset - drawn from the same distribution as the noisy training set. Referred to as `Noisy Early Stopping' (NES), this method simplifies and reduces the cost of implementing Early Stopping. We provide theoretical insights into the conditions under which this method is effective and empirically demonstrate its robust performance across standard benchmarks using common loss functions.
- Abstract(参考訳): ノイズラベルで汚染されたデータセット上のニューラルネットワーク分類器のトレーニングは、オーバーフィッティングのリスクを著しく高める。
したがって、ノイズの多いラベル環境における早期停止を効果的に実装することが重要である。
理想的な状況下では、Early Stoppingはラベルノイズによって破損しない検証セットを使用して、トレーニング中の一般化を効果的に監視する。
しかし、ノイズフリーの検証データセットを得るには費用がかかり難い。
本研究は、多くの典型的な学習環境において、効果的な早期停止にはノイズフリーの検証セットは必要ないことを証明している。
代わりに、ノイズの多いデータセットで、ノイズの多いトレーニングセットと同じ分布から引き出された精度を監視することで、ほぼ最適結果が得られる。
NES(Noisy Early Stopping)と呼ばれるこの手法は、早期停止の実装コストを単純化し、削減する。
本手法が有効である条件に関する理論的知見を提供するとともに,共通損失関数を用いた標準ベンチマークにおけるロバストな性能を実証的に実証する。
関連論文リスト
- Denoising-Aware Contrastive Learning for Noisy Time Series [35.97130925600067]
時系列自己教師型学習(SSL)は、ラベルへの依存を軽減するために事前トレーニングのためにラベル付きデータを活用することを目的としている。
本稿では,表現中の雑音を軽減し,各サンプルに対して適切な復調法を自動選択するDenoising-Aware contrastive Learning (DECL)を提案する。
論文 参考訳(メタデータ) (2024-06-07T04:27:32Z) - SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。
本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。
既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
論文 参考訳(メタデータ) (2024-03-21T08:49:34Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
論文 参考訳(メタデータ) (2023-10-24T20:28:59Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。
誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。
ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-26T12:43:25Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Transfer learning for self-supervised, blind-spot seismic denoising [0.0]
本研究では、関心のフィールドデータセットに自己教師付きで微調整を行う前に、フリグリ生成された合成データセット上でネットワークを初期的に教師付きで訓練することを提案する。
ピーク信号-雑音比の変化やノイズの低減,信号漏れの観測などを考慮すると,教師付きベーストレーニングによる重み付けによる自己教師ネットワークの初期化のメリットは明らかである。
論文 参考訳(メタデータ) (2022-09-25T12:58:10Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳(メタデータ) (2022-08-05T14:47:22Z) - Consistency Regularization Can Improve Robustness to Label Noise [4.340338299803562]
本稿では,雑音ラベルに対するトレーニング時ロバスト性に対する整合正則化の関連性について実験的に検討する。
整合性を促進する単純な損失関数は、ノイズをラベル付けするためのモデルの堅牢性を改善する。
論文 参考訳(メタデータ) (2021-10-04T08:15:08Z) - Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。
本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
論文 参考訳(メタデータ) (2021-06-21T07:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。