論文の概要: Context-based Virtual Adversarial Training for Text Classification with Noisy Labels

• arxiv url: http://arxiv.org/abs/2206.11851v1
• Date: Sun, 29 May 2022 14:19:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 03:54:18.592318
• Title: Context-based Virtual Adversarial Training for Text Classification with Noisy Labels
• Title（参考訳）: 雑音ラベル付きテキスト分類のためのコンテキストベース仮想逆学習
• Authors: Do-Myoung Lee, Yeachan Kim, Chang-gyun Seo
• Abstract要約: 本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。 従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 1.9508698179748525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have a high capacity to completely memorize noisy labels given sufficient training time, and its memorization, unfortunately, leads to performance degradation. Recently, virtual adversarial training (VAT) attracts attention as it could further improve the generalization of DNNs in semi-supervised learning. The driving force behind VAT is to prevent the models from overfitting data points by enforcing consistency between the inputs and the perturbed inputs. This strategy could be helpful in learning from noisy labels if it prevents neural models from learning noisy samples while encouraging the models to generalize clean samples. In this paper, we propose context-based virtual adversarial training (ConVAT) to prevent a text classifier from overfitting to noisy labels. Unlike the previous works, the proposed method performs the adversarial training at the context level rather than the inputs. It makes the classifier not only learn its label but also its contextual neighbors, which alleviates the learning from noisy labels by preserving contextual semantics on each data point. We conduct extensive experiments on four text classification datasets with two types of label noises. Comprehensive experimental results clearly show that the proposed method works quite well even with extremely noisy settings.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は十分なトレーニング時間を与えるとノイズラベルを完全に記憶する能力が高く、残念ながらその記憶はパフォーマンスを劣化させる。 近年、準教師付き学習におけるDNNの一般化をさらに向上させるため、仮想敵訓練(VAT)が注目されている。 VATの背後にある駆動力は、入力と摂動入力の一貫性を強制することによって、モデルがデータポイントを過度に適合させないことである。 この戦略は、神経モデルによるノイズサンプルの学習を防止し、モデルにクリーンサンプルの一般化を促すことで、ノイズラベルから学習する上で有用である。 本稿では,テキスト分類器が雑音ラベルに過度に適合しないようにコンテキストベース仮想敵訓練(convat)を提案する。 従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 分類器はそのラベルを学習するだけでなく、各データポイントの文脈意味を保存してノイズの多いラベルからの学習を緩和するコンテキスト近傍も学習させる。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。 包括的実験結果から,提案手法は極めてノイズの多い設定でも十分に機能することが明らかとなった。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Rethinking Noisy Label Learning in Real-world Annotation Scenarios from the Noise-type Perspective [38.24239397999152]
  本稿では,雑音ラベル学習のためのサンプル選択に基づく新しい手法であるProto-semiを提案する。 Proto-semiは、すべてのサンプルをウォームアップを通じて信頼性と信頼できないデータセットに分割する。 自信のあるデータセットを活用することで、プロトタイプベクターがクラス特性をキャプチャするために構築される。 実世界の注釈付きデータセットの実証評価は、ノイズラベルから学習する問題の処理において、プロトセミの頑健さを裏付けるものである。
  論文  参考訳（メタデータ） (2023-07-28T10:57:38Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Dynamic Adaptive Threshold based Learning for Noisy Annotations Robust Facial Expression Recognition [3.823356975862006]
  ノイズの多いアノテーションを扱うための動的FER学習フレームワーク(DNFER)を提案する。 具体的には、DNFERは、選択されたクリーンサンプルを使用した教師ありトレーニングと、すべてのサンプルを使用した教師なし一貫性のあるトレーニングに基づいている。 我々は,RAFDB,FERPlus,SFEW,AffectNetなどの実雑音付きFERデータセットに対して,DNFERの堅牢性を示す。
  論文  参考訳（メタデータ） (2022-08-22T12:02:41Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Multi-Objective Interpolation Training for Robustness to Label Noise [17.264550056296915]
  標準教師付きコントラスト学習はラベル雑音の存在下で劣化することを示す。 コントラスト学習により学習したロバストな特徴表現を利用する新しいラベルノイズ検出手法を提案する。 合成および実世界のノイズベンチマークの実験は、MOIT/MOIT+が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2020-12-08T15:01:54Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。