論文の概要: Early Stopping Against Label Noise Without Validation Data

• arxiv url: http://arxiv.org/abs/2502.07551v1
• Date: Tue, 11 Feb 2025 13:40:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:53.338608
• Title: Early Stopping Against Label Noise Without Validation Data
• Title（参考訳）: 検証データのないラベル騒音に対する早期停止
• Authors: Suqin Yuan, Lei Feng, Tongliang Liu,
• Abstract要約: 所望のモデルを選択するのに検証データを必要としないラベルウェーブと呼ばれる新しい早期停止手法を提案する。 各種設定におけるラベルウェーブ法の有効性と,ノイズラベルを用いた学習における既存手法の性能向上を両立させる能力について述べる。
• 参考スコア（独自算出の注目度）: 54.27621957395026
• License:
• Abstract: Early stopping methods in deep learning face the challenge of balancing the volume of training and validation data, especially in the presence of label noise. Concretely, sparing more data for validation from training data would limit the performance of the learned model, yet insufficient validation data could result in a sub-optimal selection of the desired model. In this paper, we propose a novel early stopping method called Label Wave, which does not require validation data for selecting the desired model in the presence of label noise. It works by tracking the changes in the model's predictions on the training set during the training process, aiming to halt training before the model unduly fits mislabeled data. This method is empirically supported by our observation that minimum fluctuations in predictions typically occur at the training epoch before the model excessively fits mislabeled data. Through extensive experiments, we show both the effectiveness of the Label Wave method across various settings and its capability to enhance the performance of existing methods for learning with noisy labels.
• Abstract（参考訳）: ディープラーニングにおける早期停止手法は、特にラベルノイズの存在下で、トレーニングと検証データのボリュームのバランスをとるという課題に直面している。 具体的には、トレーニングデータからより多くのデータを取得することで、学習したモデルの性能が制限されるが、検証データが不十分であれば、望ましいモデルのサブ最適選択がもたらされる可能性がある。 本稿では,ラベルノイズの存在下で所望のモデルを選択するための検証データを必要としない,ラベルウェーブと呼ばれる新しい早期停止手法を提案する。 トレーニングプロセス中のトレーニングセットに対するモデルの予測の変化を追跡し、モデルが不正にラベル付けされたデータに適合する前にトレーニングを停止することを目的としている。 本手法は, モデルが過度にラベル付けされたデータに適合する前に, トレーニング時期における予測の最小変動が典型的に発生するという観察によって実証的に支持されている。 広範にわたる実験を通して,ラベルウェーブ法の有効性と,ノイズラベルを用いた学習手法の性能向上の両立を図った。

関連論文リスト

• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Learning in the Wild: Towards Leveraging Unlabeled Data for Effectively Tuning Pre-trained Code Models [38.7352992942213]
  我々は,大規模な未ラベルデータセットを用いた事前学習型コードモデルを改善するために,HINTという新しいアプローチを提案する。 HINTには、HybrId擬似ラベル付きデータ選択とノイズ耐性トレーニングの2つの主要なモジュールが含まれている。 実験の結果、HINTはタスク固有の方法でラベル付けされていないデータをうまく活用できることがわかった。
  論文  参考訳（メタデータ） (2024-01-02T06:39:00Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation [87.60688582088194]
  新規な自己監督雑音ラベル学習法を提案する。 本手法は最新の結果を容易に達成でき、他の手法を非常に大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2021-02-23T10:51:45Z)
• Improving Generalization of Deep Fault Detection Models in the Presence of Mislabeled Data [1.3535770763481902]
  ラベルノイズを用いた頑健なトレーニングのための新しい2段階フレームワークを提案する。 最初のステップでは、仮説空間の更新に基づいて、外れ値(ラベルのつかないサンプルを含む)を識別する。 第2のステップでは、識別されたアウトレイラとデータ拡張技術に基づいて、トレーニングデータを修正するための異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-30T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。