論文の概要: Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language

• arxiv url: http://arxiv.org/abs/2406.17753v1
• Date: Tue, 25 Jun 2024 17:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 13:21:40.379501
• Title: Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language
• Title（参考訳）: 説得力のある言語を生成するための大規模言語モデルの能力の測定とベンチマーク
• Authors: Amalie Brogaard Pauli, Isabelle Augenstein, Ira Assent,
• Abstract要約: 本研究では,Large Language Models (LLM) の説得的テキスト生成能力について検討する。 我々は、短いテキストとLLMで書き直されたテキストからなるペアからなる新しいデータセットPersuasive-Pairsを構築した。 テキストペア間の説得的言語スコアを予測するために,回帰モデルをトレーニングするために使用できることを示す。
• 参考スコア（独自算出の注目度）: 41.052284715017606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We are exposed to much information trying to influence us, such as teaser messages, debates, politically framed news, and propaganda - all of which use persuasive language. With the recent interest in Large Language Models (LLMs), we study the ability of LLMs to produce persuasive text. As opposed to prior work which focuses on particular domains or types of persuasion, we conduct a general study across various domains to measure and benchmark to what degree LLMs produce persuasive text - both when explicitly instructed to rewrite text to be more or less persuasive and when only instructed to paraphrase. To this end, we construct a new dataset, Persuasive-Pairs, of pairs each consisting of a short text and of a text rewritten by an LLM to amplify or diminish persuasive language. We multi-annotate the pairs on a relative scale for persuasive language. This data is not only a valuable resource in itself, but we also show that it can be used to train a regression model to predict a score of persuasive language between text pairs. This model can score and benchmark new LLMs across domains, thereby facilitating the comparison of different LLMs. Finally, we discuss effects observed for different system prompts. Notably, we find that different 'personas' in the system prompt of LLaMA3 change the persuasive language in the text substantially, even when only instructed to paraphrase. These findings underscore the importance of investigating persuasive language in LLM generated text.
• Abstract（参考訳）: 私たちは、ティーザーメッセージ、議論、政治的枠付きニュース、プロパガンダなど、説得力のある言葉を使うような、私たちに影響を与えるような多くの情報にさらされています。 近年,Large Language Models (LLMs) への関心が高まっている。 特定のドメインやタイプの説得に焦点を当てた以前の研究とは対照的に、LLMがいかに説得力のあるテキストを生成するかを測り、ベンチマークするために、様々なドメインにわたって一般的な研究を行う。 そこで我々は,LLMによって書き直された短文と短文からなるペアからなる新しいデータセットPersuasive-Pairsを構築し,説得言語を増幅または縮小する。 説得力のある言語に対して、ペアを相対的なスケールでマルチアノテートする。 このデータ自体が貴重なリソースであるだけでなく、回帰モデルをトレーニングしてテキストペア間の説得力のある言語のスコアを予測できることも示しています。 このモデルは、ドメイン間で新しいLLMをスコアし、ベンチマークし、異なるLLMの比較を容易にする。 最後に、異なるシステムプロンプトで観測された効果について議論する。 特に、LLaMA3のシステムプロンプトの異なる「ペルソナ」が、パラフレーズのみを指示しても、文章中の説得言語を大きく変えることが判明した。 これらの知見は, LLM 生成テキストにおける説得言語調査の重要性を浮き彫りにした。

関連論文リスト

• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Measuring and Improving Persuasiveness of Large Language Models [12.134372070736596]
  本稿ではPersuasionBenchとPersuasionArenaを紹介し,生成モデルの説得性を自動測定する。 我々の発見は、モデル開発者と政策立案者の両方にとって重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-10-03T16:36:35Z)
• Uncovering Differences in Persuasive Language in Russian versus English Wikipedia [40.61046400448044]
  英語とロシア語で書かれたウィキペディア記事間の説得力のある言語の違いが、それぞれの文化の異なる主題に対する視点を明らかにする方法について検討する。 我々は多言語テキスト中の説得的言語を識別する大規模言語モデル(LLM)システムを開発した。
  論文  参考訳（メタデータ） (2024-09-27T21:23:19Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments [0.0]
  大型言語モデル(LLM)はすでに人間と同じくらい説得力がある。 本稿では, LLMの説得戦略について, 人為的議論と比較し検討する。
  論文  参考訳（メタデータ） (2024-04-14T19:01:20Z)
• Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models [12.700783525558721]
  GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。 本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T15:15:39Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts [76.18347405302728]
  本研究は、文字、単語、文、意味といった複数のレベルにわたるプロンプトを標的とした、敵対的なテキスト攻撃を多用する。 相手のプロンプトは、感情分析、自然言語推論、読書理解、機械翻訳、数学の問題解決など様々なタスクに使用される。 以上の結果から,現代の大規模言語モデルでは,敵対的プロンプトに対して頑健ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-07T15:37:00Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。