論文の概要: Weigh Your Own Words: Improving Hate Speech Counter Narrative Generation via Attention Regularization

• arxiv url: http://arxiv.org/abs/2309.02311v1
• Date: Tue, 5 Sep 2023 15:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 14:03:50.636796
• Title: Weigh Your Own Words: Improving Hate Speech Counter Narrative Generation via Attention Regularization
• Title（参考訳）: 自分達の言葉を振り返って:注意規則化によるヘイトスピーチカウンタナラティブ生成の改善
• Authors: Helena Bonaldi, Giuseppe Attanasio, Debora Nozza, Marco Guerini
• Abstract要約: オンラインヘイトスピーチと戦うための最近の計算手法は、カウンターナラティブの自動生成を伴う。 本稿では, PLMの一般化機能を改善するために, 新たなアテンション正規化手法を提案する。 正規化されたモデルは、ほとんどの場合において最先端のアプローチよりも優れたカウンターナラティブを生み出す。
• 参考スコア（独自算出の注目度）: 31.40751207207214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent computational approaches for combating online hate speech involve the automatic generation of counter narratives by adapting Pretrained Transformer-based Language Models (PLMs) with human-curated data. This process, however, can produce in-domain overfitting, resulting in models generating acceptable narratives only for hatred similar to training data, with little portability to other targets or to real-world toxic language. This paper introduces novel attention regularization methodologies to improve the generalization capabilities of PLMs for counter narratives generation. Overfitting to training-specific terms is then discouraged, resulting in more diverse and richer narratives. We experiment with two attention-based regularization techniques on a benchmark English dataset. Regularized models produce better counter narratives than state-of-the-art approaches in most cases, both in terms of automatic metrics and human evaluation, especially when hateful targets are not present in the training data. This work paves the way for better and more flexible counter-speech generation models, a task for which datasets are highly challenging to produce.
• Abstract（参考訳）: オンラインヘイトスピーチと戦うための最近の計算手法は、事前学習されたトランスフォーマーベース言語モデル(PLM)を人間の計算データに適応させることにより、カウンターナラティブの自動生成を含む。 しかし、このプロセスはドメイン内のオーバーフィッティングを発生させ、トレーニングデータと同様の憎悪に対してのみ許容される物語を生成するモデルとなり、他のターゲットや現実世界の有害言語への移植性がほとんどない。 本稿では,対談生成のためのplmの一般化能力を向上させるために,新しい注意正規化手法を提案する。 訓練固有の用語への過度な適合は妨げられ、それによってより多様でリッチな物語が生まれる。 我々は,2つの注意に基づく正規化手法を英語のベンチマークデータセット上で実験した。 正規化モデルは、特にトレーニングデータに憎しみのあるターゲットが存在しない場合、自動測定と人的評価の両方の観点から、ほとんどの場合、最先端のアプローチよりも優れた対物物語を生成する。 この作業は、データセットの生成が非常に困難なタスクである、より良い、より柔軟な対音声生成モデルを実現するための道を開く。

関連論文リスト

• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Error Norm Truncation: Robust Training in the Presence of Data Noise for Text Generation Models [42.24366185691323]
  本稿では,ノイズの多いデータをトラストする標準学習目標に対する頑健な強化手法であるError Norm Truncation (ENT)を提案する。 ENTは,従来のソフト・ハード・トランケーション法よりも生成品質の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-02T01:30:27Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Combating high variance in Data-Scarce Implicit Hate Speech Classification [0.0]
  我々は,最先端の性能を実現する新しいRoBERTaモデルを開発した。 本稿では,様々な最適化手法と正規化手法を探求し,最先端性能を実現するRoBERTaベースの新しいモデルを開発する。
  論文  参考訳（メタデータ） (2022-08-29T13:45:21Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Leveraging cross-platform data to improve automated hate speech detection [0.0]
  ヘイトスピーチ検出のための既存のアプローチは、単一のソーシャルメディアプラットフォームを独立して重視している。 本稿では,異なるプラットフォームからの複数のデータセットと分類モデルを活用するヘイトスピーチを検出するための,クロスプラットフォームアプローチを提案する。 このアプローチが既存のモデルより優れていることを実証し、新しいソーシャルメディアプラットフォームからのメッセージでテストすると、優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-09T15:52:34Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。