論文の概要: Contextualized Counterspeech: Strategies for Adaptation, Personalization, and Evaluation
- arxiv url: http://arxiv.org/abs/2412.07338v3
- Date: Fri, 07 Feb 2025 10:30:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 14:52:59.091336
- Title: Contextualized Counterspeech: Strategies for Adaptation, Personalization, and Evaluation
- Title（参考訳）: 文脈対応型対語:適応・パーソナライズ・評価のための方策
- Authors: Lorenzo Cima, Alessio Miaschi, Amaury Trujillo, Marco Avvenuti, Felice Dell'Orletta, Stefano Cresci,
- Abstract要約: 本研究では,モデレーションコンテキストに適応し,適度なユーザ向けにパーソナライズされたコーディネート音声を生成するための戦略を提案し,評価する。
以上の結果から, 文脈的反音声は, 精度と説得力において, 最先端の一般音声よりも有意に優れることが示された。
コンテンツモデレーションにおける、文脈化されたAI生成の逆音声の有効性と、人間とアルゴリズムによる評価の相違は、人間とAIの協調の増大の重要性を浮き彫りにする。
- 参考スコア（独自算出の注目度）: 2.1944577276732726
- License:
- Abstract: AI-generated counterspeech offers a promising and scalable strategy to curb online toxicity through direct replies that promote civil discourse. However, current counterspeech is one-size-fits-all, lacking adaptation to the moderation context and the users involved. We propose and evaluate multiple strategies for generating tailored counterspeech that is adapted to the moderation context and personalized for the moderated user. We instruct an LLaMA2-13B model to generate counterspeech, experimenting with various configurations based on different contextual information and fine-tuning strategies. We identify the configurations that generate persuasive counterspeech through a combination of quantitative indicators and human evaluations collected via a pre-registered mixed-design crowdsourcing experiment. Results show that contextualized counterspeech can significantly outperform state-of-the-art generic counterspeech in adequacy and persuasiveness, without compromising other characteristics. Our findings also reveal a poor correlation between quantitative indicators and human evaluations, suggesting that these methods assess different aspects and highlighting the need for nuanced evaluation methodologies. The effectiveness of contextualized AI-generated counterspeech and the divergence between human and algorithmic evaluations underscore the importance of increased human-AI collaboration in content moderation.
- Abstract（参考訳）: AIが生成したカウンタースピーチは、市民の会話を促進する直接的な回答を通じてオンライン毒性を抑制する、有望でスケーラブルな戦略を提供する。
しかし、現在のカウンタースペルは全サイズで、モデレーションコンテキストや関連するユーザへの適応が欠如している。
そこで本研究では,モデレーションコンテキストに適応し,適度なユーザ向けにパーソナライズされた,調整済みの逆音声を生成するための複数の戦略を提案し,評価する。
我々はLLaMA2-13Bモデルに、異なる文脈情報と微調整戦略に基づく様々な構成の実験を行い、反音声を生成するよう指示する。
我々は,事前登録型複合設計クラウドソーシング実験により収集した定量的指標と人的評価を組み合わせることで,説得的カウンター音声を生成する構成を同定する。
以上の結果から,コンテクスチュアライズド・カウンター音声は,他の特徴を損なうことなく,精度と説得性において,最先端の汎用音声よりも有意に優れることが示された。
また, 定量的指標と人的評価との間には相関関係がみられ, 異なる側面を評価し, ニュアンス評価手法の必要性を強調することが示唆された。
コンテンツモデレーションにおける、文脈化されたAI生成の逆音声の有効性と、人間とアルゴリズムによる評価の相違は、人間とAIの協調の増大の重要性を浮き彫りにする。
関連論文リスト
- Assessing the Human Likeness of AI-Generated Counterspeech [10.434435022492723]
Counterspeechは、悪質なコンテンツやヘイトフルコンテンツに対する反則と挑戦に対するターゲット的反応である。
従来の研究では、自動生成音声に対する様々な戦略が提案されている。
本稿では,AI生成音声の人間的類似性,有効性に影響を与える重要な要因について検討する。
論文 参考訳（メタデータ） (2024-10-14T18:48:47Z) - Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。
我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。
その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
論文 参考訳（メタデータ） (2024-09-30T06:29:58Z) - Outcome-Constrained Large Language Models for Countering Hate Speech [10.434435022492723]
本研究は,会話結果に制約された反音声を生成する手法を開発することを目的とする。
我々は,大言語モデル(LLM)を用いて,テキスト生成プロセスに2つの望ましい会話結果を導入する実験を行った。
評価結果から,提案手法が望まれる結果に対して効果的に対応できることが示唆された。
論文 参考訳（メタデータ） (2024-03-25T19:44:06Z) - A Multi-Aspect Framework for Counter Narrative Evaluation using Large Language Models [16.878541623617473]
カウンター物語は、憎しみに満ちた主張を否定し、遭遇をエスカレートするように設計されたヘイトスピーチの文脈に反応する。
従来の対物的評価のための自動メトリクスは、人間の判断と一致していない。
そこで本稿では,LLMが生成した対物的候補に対して,スコアとフィードバックを提供するための新たな評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-18T18:56:07Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳（メタデータ） (2023-08-09T07:51:40Z) - On the Behavior of Intrusive and Non-intrusive Speech Enhancement
Metrics in Predictive and Generative Settings [14.734454356396157]
予測的および生成的パラダイムの下で訓練された同じ音声強調バックボーンの性能を評価する。
侵入的・非侵入的尺度は各パラダイムごとに異なる相関関係を示す。
論文 参考訳（メタデータ） (2023-06-05T16:30:17Z) - SpeechLMScore: Evaluating speech generation using speech language model [43.20067175503602]
本稿では,音声認識モデルを用いて生成した音声を評価するための教師なしメトリックであるSpeechLMScoreを提案する。
人間のアノテーションは必要とせず、高度にスケーラブルなフレームワークです。
評価結果は,提案手法が音声生成タスクにおける評価スコアと有望な相関を示すことを示す。
論文 参考訳（メタデータ） (2022-12-08T21:00:15Z) - Towards Quantifiable Dialogue Coherence Evaluation [126.55560816209756]
量的対話コヒーレンス評価(QuantiDCE)は,量的対話コヒーレンス尺度の学習を目的とした新しいフレームワークである。
QuantiDCEには、Multi-Level Ranking (MLR) pre-training (KD) fine-tuning (Multi-Level Ranking)とKD (KD) fine-tuning (KD) という2つの訓練段階が含まれている。
実験結果から,QuantiDCEによりトレーニングされたモデルは,他の最先端の指標に比べて,人間の判断と強い相関関係を示すことが示された。
論文 参考訳（メタデータ） (2021-06-01T14:11:17Z) - Towards Robust Speech-to-Text Adversarial Attack [78.5097679815944]
本稿では,DeepSpeech,Kaldi,Lingvoなど,最先端の音声テキストシステムに対する新たな逆アルゴリズムを提案する。
本手法は, 逆最適化定式化の従来の歪み条件の拡張を開発することに基づいている。
元のサンプルと反対のサンプルの分布の差を測定するこの測定値の最小化は、正統な音声記録のサブスペースに非常に近い作成信号に寄与する。
論文 参考訳（メタデータ） (2021-03-15T01:51:41Z) - Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。
コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。
DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
論文 参考訳（メタデータ） (2020-06-17T21:02:40Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳（メタデータ） (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。