論文の概要: Fine tuning Pre trained Models for Robustness Under Noisy Labels
- arxiv url: http://arxiv.org/abs/2310.17668v1
- Date: Tue, 24 Oct 2023 20:28:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 14:03:58.697631
- Title: Fine tuning Pre trained Models for Robustness Under Noisy Labels
- Title（参考訳）: ノイズラベル下でのロバストネスのための微調整前訓練モデル
- Authors: Sumyeong Ahn, Sihyeon Kim, Jongwoo Ko, Se-Young Yun
- Abstract要約: トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
- 参考スコア（独自算出の注目度）: 34.68018860186995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The presence of noisy labels in a training dataset can significantly impact
the performance of machine learning models. To tackle this issue, researchers
have explored methods for Learning with Noisy Labels to identify clean samples
and reduce the influence of noisy labels. However, constraining the influence
of a certain portion of the training dataset can result in a reduction in
overall generalization performance. To alleviate this, recent studies have
considered the careful utilization of noisy labels by leveraging huge
computational resources. Therefore, the increasing training cost necessitates a
reevaluation of efficiency. In other areas of research, there has been a focus
on developing fine-tuning techniques for large pre-trained models that aim to
achieve both high generalization performance and efficiency. However, these
methods have mainly concentrated on clean datasets, and there has been limited
exploration of the noisy label scenario. In this research, our aim is to find
an appropriate way to fine-tune pre-trained models for noisy labeled datasets.
To achieve this goal, we investigate the characteristics of pre-trained models
when they encounter noisy datasets. Through empirical analysis, we introduce a
novel algorithm called TURN, which robustly and efficiently transfers the prior
knowledge of pre-trained models. The algorithm consists of two main steps: (1)
independently tuning the linear classifier to protect the feature extractor
from being distorted by noisy labels, and (2) reducing the noisy label ratio
and fine-tuning the entire model based on the noise-reduced dataset to adapt it
to the target dataset. The proposed algorithm has been extensively tested and
demonstrates efficient yet improved denoising performance on various benchmarks
compared to previous methods.
- Abstract（参考訳）: トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
この問題に対処するため、研究者はノイズラベルを用いた学習法を検討し、クリーンサンプルを特定し、ノイズラベルの影響を低減する。
しかし、トレーニングデータセットの特定の部分の影響を限定すると、全体的な一般化性能が低下する可能性がある。
これを緩和するため,近年の研究では,膨大な計算資源を活用し,ノイズラベルの慎重な活用を考察している。
したがって、訓練コストの増大は効率の再評価を必要とする。
その他の研究分野では、高度な一般化性能と効率性を達成することを目的とした、大規模な事前訓練モデルのための微調整技術の開発に焦点が当てられている。
しかし,これらの手法は主にクリーンデータセットに集中しており,ノイズのあるラベルシナリオの探索は限られている。
本研究の目的は,ノイズのあるラベル付きデータセットに対して,事前学習したモデルを微調整する適切な方法を見つけることである。
この目的を達成するために,ノイズの多いデータセットに遭遇したモデルの特徴について検討する。
実験分析を通じて,事前学習したモデルの事前知識を頑健かつ効率的に伝達するTURNという新しいアルゴリズムを導入する。
本アルゴリズムは,(1)ノイズラベルによる特徴抽出器の歪みを防止するために線形分類器を独立にチューニングし,(2)雑音ラベル比を低減し,ノイズ低減データセットに基づいてモデル全体を微調整し,ターゲットデータセットに適用する,という2つのステップからなる。
提案アルゴリズムは, 従来の手法と比較して, 様々なベンチマークにおいて, 効率が高く, 性能も向上している。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。
このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
論文 参考訳（メタデータ） (2024-01-29T03:42:37Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2023-09-29T06:18:15Z) - Learning with Noisy Labels through Learnable Weighting and Centroid Similarity [5.187216033152917]
ノイズラベルは、医学診断や自律運転などの領域で一般的である。
本稿では,雑音ラベルの存在下で機械学習モデルを訓練するための新しい手法を提案する。
以上の結果から,本手法は既存の最先端技術よりも一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2023-03-16T16:43:24Z) - Learning with Noisy labels via Self-supervised Adversarial Noisy Masking [33.87292143223425]
対向雑音マスキングと呼ばれる新しいトレーニング手法を提案する。
入力データとラベルを同時に調整し、ノイズの多いサンプルが過度に収まらないようにする。
合成および実世界のノイズデータセットの両方でテストされる。
論文 参考訳（メタデータ） (2023-02-14T03:13:26Z) - On-the-fly Denoising for Data Augmentation in Natural Language
Understanding [101.46848743193358]
よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。
本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
論文 参考訳（メタデータ） (2022-12-20T18:58:33Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Towards Harnessing Feature Embedding for Robust Learning with Noisy
Labels [44.133307197696446]
ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。
ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
論文 参考訳（メタデータ） (2022-06-27T02:45:09Z) - Robust Meta-learning with Sampling Noise and Label Noise via
Eigen-Reptile [78.1212767880785]
Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。
ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。
本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
論文 参考訳（メタデータ） (2022-06-04T08:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。