論文の概要: APAM: Adaptive Pre-training and Adaptive Meta Learning in Language Model for Noisy Labels and Long-tailed Learning

• arxiv url: http://arxiv.org/abs/2302.03488v2
• Date: Tue, 2 May 2023 22:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 17:52:47.789812
• Title: APAM: Adaptive Pre-training and Adaptive Meta Learning in Language Model for Noisy Labels and Long-tailed Learning
• Title（参考訳）: APAM:雑音ラベルと長期学習のための言語モデルにおける適応的事前学習と適応的メタ学習
• Authors: Sunyi Chi, Bo Dong, Yiming Xu, Zhenyu Shi, Zheng Du
• Abstract要約: 実用的な自然言語処理(NLP)タスクは、一般的にノイズの多いラベルで長い尾を持つ。 オーバーサンプリングやアンダーサンプリングなどの一般的な再サンプリング技術は、容易にオーバーフィッティングに繋がる可能性がある。 本稿では,ロングテールラベルとノイズラベルの両方の問題に対処する一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.433150673299163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical natural language processing (NLP) tasks are commonly long-tailed with noisy labels. Those problems challenge the generalization and robustness of complex models such as Deep Neural Networks (DNNs). Some commonly used resampling techniques, such as oversampling or undersampling, could easily lead to overfitting. It is growing popular to learn the data weights leveraging a small amount of metadata. Besides, recent studies have shown the advantages of self-supervised pre-training, particularly to the under-represented data. In this work, we propose a general framework to handle the problem of both long-tail and noisy labels. The model is adapted to the domain of problems in a contrastive learning manner. The re-weighting module is a feed-forward network that learns explicit weighting functions and adapts weights according to metadata. The framework further adapts weights of terms in the loss function through a combination of the polynomial expansion of cross-entropy loss and focal loss. Our extensive experiments show that the proposed framework consistently outperforms baseline methods. Lastly, our sensitive analysis emphasizes the capability of the proposed framework to handle the long-tailed problem and mitigate the negative impact of noisy labels.
• Abstract（参考訳）: 実用的な自然言語処理(NLP)タスクは、一般的にノイズの多いラベルで長い尾を持つ。 これらの問題はディープニューラルネットワーク(DNN)のような複雑なモデルの一般化と堅牢性に挑戦する。 オーバーサンプリングやアンダーサンプリングなどの一般的な再サンプリング技術は、容易にオーバーフィッティングにつながる可能性がある。 少量のメタデータを活用することで、データ重み付けを学ぶことは人気を博している。 また,近年の研究では,自己教師あり事前学習,特に自己教師なしデータの利点が示されている。 本研究では,長尺ラベルと雑音ラベルの両方の問題に対処する一般的なフレームワークを提案する。 このモデルは、対照的な学習方法で問題領域に適応する。 再重み付けモジュールはフィードフォワードネットワークであり、明示的な重み付け関数を学び、メタデータに従って重みを調整する。 この枠組みは、クロスエントロピー損失の多項式展開と焦点損失の組み合わせにより、損失関数の項の重み付けをさらに適応させる。 提案手法がベースライン法より一貫して優れていることを示す。 最後に,当社の感度分析では,ロングテール問題に対処し,ノイズラベルの悪影響を軽減するための提案フレームワークの能力を強調した。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Quantized Prompt for Efficient Generalization of Vision-Language Models [27.98205540768322]
  CLIPのような大規模事前学習型視覚言語モデルは、様々な分野で大きな成功を収めている。 下流への適応の間、最も難しい問題は過度に適合し、破滅的な忘れ物である。 本稿では,視覚言語モデルを正規化するための量子化について検討する。
  論文  参考訳（メタデータ） (2024-07-15T13:19:56Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Meta-Learning Online Adaptation of Language Models [88.8947656843812]
  大規模言語モデルは、そのパラメータにおける驚くほど広い世界の知識を符号化する。 しかし、静的言語モデルの知識は時代遅れになり、モデルの効果的な「シェルフライフ」が制限される。
  論文  参考訳（メタデータ） (2023-05-24T11:56:20Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Difficulty-Net: Learning to Predict Difficulty for Long-Tailed Recognition [5.977483447975081]
  メタラーニングフレームワークにおいて,モデルの性能を用いてクラスの難易度を予測することを学習するDifficulty-Netを提案する。 本稿では,相対的難易度と運転者損失という2つの重要な概念を紹介する。 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2022-09-07T07:04:08Z)
• Adaptable Text Matching via Meta-Weight Regulator [14.619068650513917]
  メタウェイトレギュレータ(メタウェイトレギュレータ、MWR)は、目標損失との関連性に基づいて、ソースサンプルに重みを割り当てることを学ぶメタラーニングアプローチである。 MWRはまず、一様重み付きソースの例でモデルを訓練し、損失関数を用いて対象の例におけるモデルの有効性を測定する。 MWRはモデルに依存しないため、任意のバックボーンニューラルモデルに適用することができる。
  論文  参考訳（メタデータ） (2022-04-27T02:28:40Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。