論文の概要: Using Pre-Trained Language Models for Producing Counter Narratives
Against Hate Speech: a Comparative Study
- arxiv url: http://arxiv.org/abs/2204.01440v1
- Date: Mon, 4 Apr 2022 12:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 15:36:49.437797
- Title: Using Pre-Trained Language Models for Producing Counter Narratives
Against Hate Speech: a Comparative Study
- Title（参考訳）: 事前学習言語モデルを用いたヘイトスピーチに対する対語生成 : 比較研究
- Authors: Serra Sinem Tekiroglu, Helena Bonaldi, Margherita Fanton, Marco
Guerini
- Abstract要約: 本稿では,CN自動生成作業における事前学習言語モデルの利用に関する広範な研究を行う。
まず、CNを生成するのに最適な特定の言語モデル(またはLMのクラス)と特定の復号機構が存在するかどうかを比較検討する。
自動回帰モデルとデコードを組み合わせることが、最も有望であることを示している。
- 参考スコア（独自算出の注目度）: 17.338923885534193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we present an extensive study on the use of pre-trained
language models for the task of automatic Counter Narrative (CN) generation to
fight online hate speech in English. We first present a comparative study to
determine whether there is a particular Language Model (or class of LMs) and a
particular decoding mechanism that are the most appropriate to generate CNs.
Findings show that autoregressive models combined with stochastic decodings are
the most promising. We then investigate how an LM performs in generating a CN
with regard to an unseen target of hate. We find out that a key element for
successful `out of target' experiments is not an overall similarity with the
training data but the presence of a specific subset of training data, i.e. a
target that shares some commonalities with the test target that can be defined
a-priori. We finally introduce the idea of a pipeline based on the addition of
an automatic post-editing step to refine generated CNs.
- Abstract（参考訳）: 本稿では,英語でオンラインヘイトスピーチと戦える自動カウンター・ナラティブ(cn)生成のタスクとして,事前学習された言語モデルの利用に関する広範囲な研究を行う。
まず、CNを生成するのに最適な特定の言語モデル(またはLMのクラス)と特定の復号機構が存在するかどうかを比較検討する。
自動回帰モデルと確率的デコーディングを組み合わせることが、最も有望であることを示している。
次に、憎悪の未確認目標に関して、LMがCNを生成する際にどのように機能するかを検討する。
実験を成功させる鍵となる要素は、トレーニングデータと全体的な類似性ではなく、トレーニングデータの特定のサブセットの存在、すなわち、a-prioriと定義可能なテストターゲットと共通点を共有するターゲットの存在であることがわかった。
最終的に、生成したCNを洗練するための自動後編集ステップの追加に基づくパイプラインのアイデアを紹介します。
関連論文リスト
- Acoustic Word Embeddings for Untranscribed Target Languages with
Continued Pretraining and Learned Pooling [28.758396218435635]
音響単語の埋め込みは、単語のような一対の単位を用いてプール関数を訓練することによって生成される。
自己教師型英語モデルからの平均プール表現は、有望な代替案として提案されたが、ターゲット言語でのそれらのパフォーマンスは、完全には競合しなかった。
両手法が単語識別における近年のアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2023-06-03T16:44:21Z) - GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。
GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。
言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
論文 参考訳（メタデータ） (2022-12-20T12:51:11Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳（メタデータ） (2022-05-28T01:03:30Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-03-31T03:26:55Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳（メタデータ） (2021-10-31T22:48:30Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。