論文の概要: Learning with Noisy Foundation Models

• arxiv url: http://arxiv.org/abs/2403.06869v1
• Date: Mon, 11 Mar 2024 16:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 18:13:44.510517
• Title: Learning with Noisy Foundation Models
• Title（参考訳）: 騒音基礎モデルによる学習
• Authors: Hao Chen, Jindong Wang, Zihan Wang, Ran Tao, Hongxin Wei, Xing Xie, Masashi Sugiyama, Bhiksha Raj
• Abstract要約: 本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
• 参考スコア（独自算出の注目度）: 95.50968225050012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are usually pre-trained on large-scale datasets and then adapted to downstream tasks through tuning. However, the large-scale pre-training datasets, often inaccessible or too expensive to handle, can contain label noise that may adversely affect the generalization of the model and pose unexpected risks. This paper stands out as the first work to comprehensively understand and analyze the nature of noise in pre-training datasets and then effectively mitigate its impacts on downstream tasks. Specifically, through extensive experiments of fully-supervised and image-text contrastive pre-training on synthetic noisy ImageNet-1K, YFCC15M, and CC12M datasets, we demonstrate that, while slight noise in pre-training can benefit in-domain (ID) performance, where the training and testing data share a similar distribution, it always deteriorates out-of-domain (OOD) performance, where training and testing distributions are significantly different. These observations are agnostic to scales of pre-training datasets, pre-training noise types, model architectures, pre-training objectives, downstream tuning methods, and downstream applications. We empirically ascertain that the reason behind this is that the pre-training noise shapes the feature space differently. We then propose a tuning method (NMTune) to affine the feature space to mitigate the malignant effect of noise and improve generalization, which is applicable in both parameter-efficient and black-box tuning manners. We additionally conduct extensive experiments on popular vision and language models, including APIs, which are supervised and self-supervised pre-trained on realistic noisy data for evaluation. Our analysis and results demonstrate the importance of this novel and fundamental research direction, which we term as Noisy Model Learning.
• Abstract（参考訳）: 基礎モデルは通常、大規模なデータセットで事前トレーニングされ、チューニングによってダウンストリームタスクに適応される。 しかし、大規模な事前学習データセットは、しばしばアクセス不能または扱いが難しいため、モデルの一般化に悪影響を及ぼす可能性のあるラベルノイズを包含し、予期しないリスクを引き起こす可能性がある。 本稿は,事前学習データセットにおけるノイズの性質を包括的に理解し分析し,下流タスクへの影響を効果的に軽減する最初の研究である。 具体的には,合成ノイズの多いimagenet-1k,yfcc15m,cc12mデータセット上でのフル教師付きおよびイメージテキストコントラストプレトレーニングの広範な実験を通じて,トレーニングとテストのデータを共有するドメイン内(id)のパフォーマンスにわずかなノイズが寄与するが,トレーニングとテストの分散が著しく異なるドメイン外(ood)パフォーマンスが常に低下することを示す。 これらの観測は、事前トレーニングデータセットのスケール、事前トレーニングノイズタイプ、モデルアーキテクチャ、事前トレーニング目標、下流チューニング方法、ダウンストリームアプリケーションに非依存である。 この背景にある理由は、事前学習されたノイズが特徴空間を異なる形にしているからである。 そこで我々は,騒音の悪影響を緩和し,パラメータ効率とブラックボックス調律の両方に適用可能な一般化を改善するため,特徴空間に適応するチューニング法(NMTune)を提案する。 また,現実的な雑音データに基づいて教師付き,自己教師付きで事前訓練されたAPIを含む,一般的な視覚と言語モデルに関する広範な実験を実施して評価する。 本研究は,この新たな基礎研究の方向性を,ノイズモデル学習と呼ぶことの重要性を実証するものである。

関連論文リスト

• Robust Neural Processes for Noisy Data [1.7268667700090563]
  ノイズによってデータが汚染された場合の文脈内学習モデルの振る舞いについて検討する。 クリーンなデータで最高のパフォーマンスを示すモデルは、ノイズの多いデータで最高のパフォーマンスを示すモデルとは異なることが分かりました。 本稿では,NPモデルの学習方法を提案する。
  論文  参考訳（メタデータ） (2024-11-03T20:00:55Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。