論文の概要: Label-aware Hard Negative Sampling Strategies with Momentum Contrastive Learning for Implicit Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2406.07886v1
• Date: Wed, 12 Jun 2024 05:24:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 18:25:01.693043
• Title: Label-aware Hard Negative Sampling Strategies with Momentum Contrastive Learning for Implicit Hate Speech Detection
• Title（参考訳）: 意図しないヘイト音声検出のためのモーメントコントラスト学習を用いたラベル認識型ハード負サンプリング手法
• Authors: Jaehoon Kim, Seungwan Jin, Sohyun Park, Someen Park, Kyungsik Han,
• Abstract要約: ランダムにサンプリングされたバッチデータに基づく対照的な学習は、モデルに強い負のサンプルを学習させることを促さない。 本稿では,強陰性サンプルから詳細な特徴を学習するためのラベル認識型強陰性サンプリング戦略 (LAHN) を提案する。 LAHNは、インデータセットとクロスデータセットの両方において、暗黙のヘイトスピーチ検出のために既存のモデルより優れている。
• 参考スコア（独自算出の注目度）: 10.436987814180544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting implicit hate speech that is not directly hateful remains a challenge. Recent research has attempted to detect implicit hate speech by applying contrastive learning to pre-trained language models such as BERT and RoBERTa, but the proposed models still do not have a significant advantage over cross-entropy loss-based learning. We found that contrastive learning based on randomly sampled batch data does not encourage the model to learn hard negative samples. In this work, we propose Label-aware Hard Negative sampling strategies (LAHN) that encourage the model to learn detailed features from hard negative samples, instead of naive negative samples in random batch, using momentum-integrated contrastive learning. LAHN outperforms the existing models for implicit hate speech detection both in- and cross-datasets. The code is available at https://github.com/Hanyang-HCC-Lab/LAHN
• Abstract（参考訳）: 直接憎しみのない暗黙のヘイトスピーチを検出することは、依然として課題である。 近年の研究では、BERTやRoBERTaのような事前学習された言語モデルにコントラスト学習を適用して、暗黙のヘイトスピーチを検知しようと試みているが、提案したモデルは、クロスエントロピー損失に基づく学習に対して大きな優位性を持っていない。 ランダムにサンプリングされたバッチデータに基づく対照的な学習は、厳密な負のサンプルを学習することをモデルに促さないことがわかった。 そこで本研究では,運動量積分型コントラスト学習を用いて,ランダムなバッチにおいて負のサンプルを否定するのではなく,強陰性サンプルから詳細な特徴を学習することをモデルに推奨するラベル認識型ハードネガティブサンプリング戦略を提案する。 LAHNは、インデータセットとクロスデータセットの両方において、暗黙のヘイトスピーチ検出のために既存のモデルより優れている。 コードはhttps://github.com/Hanyang-HCC-Lab/LAHNで公開されている。

関連論文リスト

• Generating Enhanced Negatives for Training Language-Based Object Detectors [86.1914216335631]
  我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。 具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。 実験により, 生成した負データとの関連性を確認し, 言語ベースの検出器での使用により, 2つの複雑なベンチマークの性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T23:04:00Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction [48.929877651182885]
  正および未ラベルのデータから学ぶことは、文学における正の未ラベル(PU)学習として知られている。 本研究では,人間の学習の性質を動機とした学習戦略を取り入れた,新しい堅牢なPU学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-01T04:34:52Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Unrestricted Adversarial Samples Based on Non-semantic Feature Clusters Substitution [1.8782750537161608]
  モデルトレーニングで学習した突発的関係を利用して, 対向的なサンプルを生成する「制限なし」摂動を導入する。 具体的には,モデル判定結果と強く相関する非意味的特徴に特徴クラスタが存在する。 対象画像の対応する特徴クラスタを置き換えるために,それらを用いて対向サンプルを作成する。
  論文  参考訳（メタデータ） (2022-08-31T07:42:36Z)
• Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding [14.295787044482136]
  文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。 我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。 実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T08:29:25Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。