論文の概要: CrowdCounter: A benchmark type-specific multi-target counterspeech dataset
- arxiv url: http://arxiv.org/abs/2410.01400v1
- Date: Wed, 2 Oct 2024 10:24:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 21:19:25.813889
- Title: CrowdCounter: A benchmark type-specific multi-target counterspeech dataset
- Title(参考訳): CrowdCounter: ベンチマーク型固有のマルチターゲット対応データセット
- Authors: Punyajoy Saha, Abhilash Datta, Abhik Jana, Animesh Mukherjee,
- Abstract要約: 我々は3,425のヘイトスピーチ対を含む新しいデータセット、CrowdCounterを紹介した。
アノテーションプラットフォーム自体の設計は、アノテーションに対して、タイプ固有の、非冗長で高品質なカウンター音声を書くことを奨励します。
バニラとタイプ制御プロンプトという,対音声応答を生成する2つのフレームワークを評価する。
- 参考スコア(独自算出の注目度): 10.133642589954192
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Counterspeech presents a viable alternative to banning or suspending users for hate speech while upholding freedom of expression. However, writing effective counterspeech is challenging for moderators/users. Hence, developing suggestion tools for writing counterspeech is the need of the hour. One critical challenge in developing such a tool is the lack of quality and diversity of the responses in the existing datasets. Hence, we introduce a new dataset - CrowdCounter containing 3,425 hate speech-counterspeech pairs spanning six different counterspeech types (empathy, humor, questioning, warning, shaming, contradiction), which is the first of its kind. The design of our annotation platform itself encourages annotators to write type-specific, non-redundant and high-quality counterspeech. We evaluate two frameworks for generating counterspeech responses - vanilla and type-controlled prompts - across four large language models. In terms of metrics, we evaluate the responses using relevance, diversity and quality. We observe that Flan-T5 is the best model in the vanilla framework across different models. Type-specific prompts enhance the relevance of the responses, although they might reduce the language quality. DialoGPT proves to be the best at following the instructions and generating the type-specific counterspeech accurately.
- Abstract(参考訳): Counterspeechは、ヘイトスピーチを禁止または停止する代わりに、表現の自由を保ちながら実行可能な選択肢を提供する。
しかし,モデレーターやユーザにとっては,効果的なカウンター音声を書くことは困難である。
したがって、対訳を書くための提案ツールを開発することが時間の必要性である。
このようなツールを開発する上で重要な課題のひとつは、既存のデータセットにおける応答の品質と多様性の欠如である。
したがって、新しいデータセットであるCrowdCounterには、6つの異なるカウンター音声タイプ(共感、ユーモア、質問、警告、シェーピング、矛盾)にまたがる3,425のヘイトスピーチとカウンセラーペアが含まれている。
アノテーションプラットフォーム自体の設計は、アノテーションに対して、タイプ固有の、非冗長で高品質なカウンター音声を書くことを奨励します。
我々は,4つの大きな言語モデルに対して,対音声応答を生成する2つのフレームワーク,バニラとタイプ制御プロンプトを評価した。
メトリクスの面では、関連性、多様性、品質を用いて応答を評価します。
我々は、Flan-T5がさまざまなモデルにまたがるバニラフレームワークで最高のモデルであることを観察する。
タイプ固有のプロンプトは応答の関連性を高めるが、言語品質を低下させる可能性がある。
DialoGPTは命令に従い、型固有の逆音声を正確に生成するのに最適であることが証明されている。
関連論文リスト
- VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning [64.56272011710735]
大規模言語モデル(LLM)のバックボーンの低ランク適応(LoRA)に対して,新しい単一段階共同音声テキストSFTアプローチを提案する。
従来のSpeechLMの7Bまたは13Bパラメータと比較すると,我々の3Bモデルは様々な音声ベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2024-10-23T00:36:06Z) - TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。
本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。
フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
論文 参考訳(メタデータ) (2024-05-28T04:11:37Z) - Intent-conditioned and Non-toxic Counterspeech Generation using Multi-Task Instruction Tuning with RLAIF [14.2594830589926]
オンラインヘイトスピーチに対する反応として定義されているCounterspeechは、非センセーショナルソリューションとしてますます利用されている。
ヘイトフルステートメントにおける社会的バイアスの背景にある実践的意味をモデル化し,反音声生成を促進させる新しいフレームワークであるCoARLを紹介した。
CoARLの最初の2つのフェーズは、連続的なマルチインストラクションチューニング、インテント、反応、攻撃的ステートメントの害を理解するためのモデルを教えること、そしてインテント条件付き逆音声を生成するためのタスク固有の低ランクアダプタ重みを学習することである。
論文 参考訳(メタデータ) (2024-03-15T08:03:49Z) - DisCGen: A Framework for Discourse-Informed Counterspeech Generation [34.75404551612012]
本稿では,言論理論に基づく枠組みを提案し,反声と憎しみのあるコメントを結びつける推論リンクについて検討する。
本稿では,Reddit から現在地にある反音声のデータセットを収集するプロセスを提案する。
提案するデータセットとフレームワークを用いて,大規模言語モデルを用いて,談話理論に基づいて文脈的に接地した対音声を生成することができることを示す。
論文 参考訳(メタデータ) (2023-11-29T23:20:17Z) - SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language
Models [58.996653700982556]
既存の音声トークンは、特に音声言語モデリングのために設計されていない。
音声大言語モデルのための統一型音声トークンであるSpeechTokenizerを提案する。
実験により,SpeechTokenizerは音声再構成においてEnCodecと相容れない性能を示し,SLMTokBenchベンチマークで強い性能を示す。
論文 参考訳(メタデータ) (2023-08-31T12:53:09Z) - SpeechGen: Unlocking the Generative Power of Speech Language Models with
Prompts [108.04306136086807]
本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。
提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-03T22:35:27Z) - Counterspeeches up my sleeve! Intent Distribution Learning and
Persistent Fusion for Intent-Conditioned Counterspeech Generation [26.4510688070963]
本稿では,意図条件付き対音声生成について検討する。
IntentCONANは,5つのインテントに条件付き6831カウンタスピーチを持つ,多種多様な意図特異的カウンタースピーチデータセットである。
本稿では,意図条件付き音声生成のための2段階フレームワークであるQUARCを提案する。
論文 参考訳(メタデータ) (2023-05-23T07:45:17Z) - SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。
具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。
音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
論文 参考訳(メタデータ) (2022-09-30T09:12:10Z) - CounterGeDi: A controllable approach to generate polite, detoxified and
emotional counterspeech [7.300229659237878]
我々は,ダイアロGPTモデルの生成を,より丁寧で,解毒され,感情に満ちた反音声へと導くために,CounterGeDiを提案する。
3つのデータセットを用いて反音声を生成し、異なる属性スコア間で顕著な改善を観察する。
論文 参考訳(メタデータ) (2022-05-09T14:10:57Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳(メタデータ) (2022-01-15T20:48:14Z) - Generate, Prune, Select: A Pipeline for Counterspeech Generation against
Online Hate Speech [9.49544185939481]
オフザシェルフ自然言語生成(NLG)法は, 日常的, 反復的, 安全な応答を生成する点で制限されている。
本稿では,多様性と妥当性を効果的に向上する3モジュールパイプラインを設計する。
提案したパイプラインは,まず多様性を促進するために生成モデルを用いて様々な反音声候補を生成し,次にBERTモデルを用いて非文法的候補をフィルタリングし,最後に最も関連性の高い反音声応答を選択する。
論文 参考訳(メタデータ) (2021-06-03T06:54:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。