論文の概要: Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks

• arxiv url: http://arxiv.org/abs/2309.17002v2
• Date: Mon, 11 Mar 2024 15:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:09:21.750030
• Title: Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks
• Title（参考訳）: 下流課題の事前学習におけるラベルノイズの理解と緩和
• Authors: Hao Chen, Jindong Wang, Ankit Shah, Ran Tao, Hongxin Wei, Xing Xie, Masashi Sugiyama, Bhiksha Raj
• Abstract要約: 本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
• 参考スコア（独自算出の注目度）: 91.15120211190519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training on large-scale datasets and then fine-tuning on downstream tasks have become a standard practice in deep learning. However, pre-training data often contain label noise that may adversely affect the generalization of the model. This paper aims to understand the nature of noise in pre-training datasets and to mitigate its impact on downstream tasks. More specifically, through extensive experiments of supervised pre-training models on synthetic noisy ImageNet-1K and YFCC15M datasets, we demonstrate that while slight noise in pre-training can benefit in-domain (ID) transfer performance, where the training and testing data share the same distribution, it always deteriorates out-of-domain (OOD) performance, where training and testing data distribution are different. We empirically verify that the reason behind is noise in pre-training shapes the feature space differently. We then propose a light-weight black-box tuning method (NMTune) to affine the feature space to mitigate the malignant effect of noise and improve generalization on both ID and OOD tasks, considering one may not be able to fully fine-tune or even access the pre-trained models. We conduct practical experiments on popular vision and language models that are pre-trained on noisy data for evaluation of our approach. Our analysis and results show the importance of this interesting and novel research direction, which we term Noisy Model Learning.
• Abstract（参考訳）: 大規模データセットの事前トレーニングと下流タスクの微調整は、ディープラーニングの標準的なプラクティスとなっている。 しかし、事前学習データは、しばしばモデルの一般化に悪影響を及ぼす可能性のあるラベルノイズを含む。 本稿では,データセットの事前学習におけるノイズの性質を理解し,そのダウンストリームタスクへの影響を緩和することを目的とする。 より具体的には、合成ノイズの多いimagenet-1kとyfcc15mデータセットにおける教師付き事前トレーニングモデルの広範な実験を通じて、事前トレーニング中のわずかなノイズがドメイン内(id)転送性能に寄与するが、トレーニングとテストのデータは同じ分布を共有しているため、トレーニングとテストデータ分布が異なる、ドメイン外(ood)パフォーマンスは常に低下する。 事前学習中のノイズが特徴空間の形状を異にする理由を実験的に検証する。 そこで我々は,ノイズの悪影響を軽減し,IDタスクとOODタスクの一般化を改善するために,特徴空間を緩和する軽量ブラックボックスチューニング法(NMTune)を提案する。 提案手法の評価のために,騒音データに事前学習したポピュラービジョンと言語モデルに関する実践実験を行う。 本研究は,ノイズモデル学習(Noisy Model Learning)とよばれる,興味深く,新しい研究方向の重要性を示唆するものである。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• Double Descent and Overfitting under Noisy Inputs and Distribution Shift for Linear Denoisers [3.481985817302898]
  教師付き denoising を研究する上での懸念は,テスト分布からのノイズレストレーニングデータが常に存在するとは限らないことだ。 そこで本研究では,分散シフト下での教師付きノイズ除去とノイズインプット回帰について検討した。
  論文  参考訳（メタデータ） (2023-05-26T22:41:40Z)
• Solving Inverse Problems with Score-Based Generative Priors learned from Noisy Data [1.7969777786551424]
  SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。 2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
  論文  参考訳（メタデータ） (2023-05-02T02:51:01Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
  余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。 自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。 CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
  論文  参考訳（メタデータ） (2020-02-24T15:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。