Fugu-MT 論文翻訳(概要): On Zero-Shot Counterspeech Generation by LLMs

論文の概要: On Zero-Shot Counterspeech Generation by LLMs

arxiv url: http://arxiv.org/abs/2403.14938v1
Date: Fri, 22 Mar 2024 04:13:10 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 18:47:18.191289
Title: On Zero-Shot Counterspeech Generation by LLMs
Title（参考訳）: LLMによるゼロショット対音声生成について
Authors: Punyajoy Saha, Aalok Agrawal, Abhik Jana, Chris Biemann, Animesh Mukherjee,
Abstract要約: 対音声生成のためのゼロショット設定において,4つの大規模言語モデル(LLM)の性能を包括的に解析する。モデルの種類を考えると、GPT-2とFlanT5モデルは対音声品質においてかなり優れている。 ChatGPTは、すべてのメトリクスの他のモデルよりも、カウンタースピーチを生成するのがはるかに優れている。
参考スコア（独自算出の注目度）: 23.39818166945086
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the emergence of numerous Large Language Models (LLM), the usage of such models in various Natural Language Processing (NLP) applications is increasing extensively. Counterspeech generation is one such key task where efforts are made to develop generative models by fine-tuning LLMs with hatespeech - counterspeech pairs, but none of these attempts explores the intrinsic properties of large language models in zero-shot settings. In this work, we present a comprehensive analysis of the performances of four LLMs namely GPT-2, DialoGPT, ChatGPT and FlanT5 in zero-shot settings for counterspeech generation, which is the first of its kind. For GPT-2 and DialoGPT, we further investigate the deviation in performance with respect to the sizes (small, medium, large) of the models. On the other hand, we propose three different prompting strategies for generating different types of counterspeech and analyse the impact of such strategies on the performance of the models. Our analysis shows that there is an improvement in generation quality for two datasets (17%), however the toxicity increase (25%) with increase in model size. Considering type of model, GPT-2 and FlanT5 models are significantly better in terms of counterspeech quality but also have high toxicity as compared to DialoGPT. ChatGPT are much better at generating counter speech than other models across all metrics. In terms of prompting, we find that our proposed strategies help in improving counter speech generation across all the models.
Abstract（参考訳）: 多数のLarge Language Models (LLM) の出現に伴い、様々な自然言語処理(NLP)アプリケーションにおけるそのようなモデルの使用が急速に増加している。反音声生成は、ヘイトスピーチと反音声ペアを微調整したLLMで生成モデルを開発するための重要な課題であるが、これらの試みはいずれもゼロショット設定で大規模言語モデルの本質的な性質を探求するものではない。そこで本研究では,GPT-2,DialoGPT,ChatGPT,FlanT5の4種類のLLMの性能を,対音声生成のためのゼロショット設定で総合的に解析する。 GPT-2 と DialoGPT では,モデルのサイズ(小,中,大)に対する性能差について検討する。一方,このような手法がモデルの性能に与える影響を解析し,異なる種類の逆音声を生成するための3つの異なるプロンプト戦略を提案する。分析の結果,2つのデータセットの生成品質(17%)は改善されているが,毒性は25%増加し,モデルサイズは増加した。モデルの種類を考慮すると、GPT-2とFlanT5モデルは対音声品質においてかなり優れているが、DialoGPTと比較して高い毒性を持つ。 ChatGPTは、すべてのメトリクスの他のモデルよりも、カウンタースピーチを生成するのがはるかに優れている。プロンプトの観点からは,提案手法が全てのモデルにおける対言生成を改善するのに有効であることがわかった。

関連論文リスト

CODEOFCONDUCT at Multilingual Counterspeech Generation: A Context-Aware Model for Robust Counterspeech Generation in Low-Resource Languages [1.9263811967110864]
本稿では,MCG-COING-2025共有タスクにおいて大きな成功を収めた,頑健な対音声生成のための文脈認識モデルを提案する。多言語データセットに微調整されたシミュレーションアニーリングアルゴリズムを活用することで、モデルはヘイトスピーチに対する現実的に正確な応答を生成する。 4つの言語で最先端のパフォーマンスを実証し、バスク語で第1位、イタリア語で第2位、英語とスペイン語で第3位にランク付けしました。
論文参考訳（メタデータ） (2025-01-01T03:36:31Z)
Generation, Distillation and Evaluation of Motivational Interviewing-Style Reflections with a Foundational Language Model [2.33956825429387]
本稿では,基礎言語モデルからより小さなモデルへの反射の発生を蒸留する方法を提案する。まず、ゼロショットプロンプトを用いたGPT-4は、ほぼ100%の成功率で反射を生成できることを示す。また, 蒸留モデルの品質評価において, GPT-4は労働集約的な作業に有効であることを示す。
論文参考訳（メタデータ） (2024-02-01T22:54:31Z)
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
論文参考訳（メタデータ） (2024-01-24T15:25:01Z)
On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文参考訳（メタデータ） (2023-11-14T00:43:33Z)
LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning [7.543506531838883]
本稿では,言語モデルの微調整手法であるLM-CPPFを提案する。複数のテキスト分類ベンチマーク実験により, この拡張法が他の手法より優れていることが示された。
論文参考訳（メタデータ） (2023-05-29T15:59:51Z)
SimOAP: Improve Coherence and Consistency in Persona-based Dialogue Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文参考訳（メタデータ） (2023-05-18T17:23:00Z)
Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。より小さな言語モデルを微調整して有用な中間コンテキストを生成します。私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
論文参考訳（メタデータ） (2022-09-02T18:32:09Z)
mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
論文参考訳（メタデータ） (2022-04-15T13:02:33Z)
METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
論文参考訳（メタデータ） (2022-04-13T21:39:15Z)
PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文参考訳（メタデータ） (2022-04-05T16:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。