論文の概要: Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language

• arxiv url: http://arxiv.org/abs/2406.17753v2
• Date: Wed, 16 Oct 2024 07:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:55.251398
• Title: Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language
• Title（参考訳）: 説得力のある言語を生成するための大規模言語モデルの能力の測定とベンチマーク
• Authors: Amalie Brogaard Pauli, Isabelle Augenstein, Ira Assent,
• Abstract要約: 本研究では,Large Language Models (LLM) の説得的テキスト生成能力について検討する。 特定のドメインやタイプの説得に焦点を当てた先行研究とは対照的に、諸藩をまたいだ総合的研究を行う。 我々は、短いテキストのペア対からなる新しいデータセットPersuasive-Pairを構築し、LLMによって書き直され、説得言語を増幅または縮小する。
• 参考スコア（独自算出の注目度）: 41.052284715017606
• License:
• Abstract: We are exposed to much information trying to influence us, such as teaser messages, debates, politically framed news, and propaganda - all of which use persuasive language. With the recent interest in Large Language Models (LLMs), we study the ability of LLMs to produce persuasive text. As opposed to prior work which focuses on particular domains or types of persuasion, we conduct a general study across various domains to measure and benchmark to what degree LLMs produce persuasive language - both when explicitly instructed to rewrite text to be more or less persuasive and when only instructed to paraphrase. We construct the new dataset Persuasive-Pairs of pairs of a short text and its rewrite by an LLM to amplify or diminish persuasive language. We multi-annotate the pairs on a relative scale for persuasive language: a valuable resource in itself, and for training a regression model to score and benchmark persuasive language, including for new LLMs across domains. In our analysis, we find that different 'personas' in LLaMA3's system prompt change persuasive language substantially, even when only instructed to paraphrase.
• Abstract（参考訳）: 私たちは、ティーザーメッセージ、議論、政治的枠付きニュース、プロパガンダなど、説得力のある言葉を使うような、私たちに影響を与えるような多くの情報にさらされています。 近年,Large Language Models (LLMs) への関心が高まっている。 特定のドメインやタイプの説得に焦点を当てた以前の研究とは対照的に、LLMがいかに説得力のある言語を作り出すかを測り、ベンチマークするために、様々なドメインにわたって一般的な研究を行っている。 我々は、短いテキストのペアからなる新しいデータセットPersuasive-Pairを構築し、LLMによる書き直しを行い、説得言語を増幅または縮小する。 我々は,このペアを説得力のある言語に対する相対的な尺度でマルチアノテーションし,それ自身は貴重なリソースであり,レグレッションモデルをトレーニングして説得力のある言語をスコア付けし,ベンチマークする。 分析の結果,LLaMA3のシステムにおける異なる「ペルソナ」は,言い回しのみを指示しても,説得言語が大きく変化することがわかった。

関連論文リスト

• Measuring and Improving Persuasiveness of Large Language Models [12.134372070736596]
  本稿ではPersuasionBenchとPersuasionArenaを紹介し,生成モデルの説得性を自動測定する。 我々の発見は、モデル開発者と政策立案者の両方にとって重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-10-03T16:36:35Z)
• Uncovering Differences in Persuasive Language in Russian versus English Wikipedia [40.61046400448044]
  英語とロシア語で書かれたウィキペディア記事間の説得力のある言語の違いが、それぞれの文化の異なる主題に対する視点を明らかにする方法について検討する。 我々は多言語テキスト中の説得的言語を識別する大規模言語モデル(LLM)システムを開発した。
  論文  参考訳（メタデータ） (2024-09-27T21:23:19Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments [0.0]
  大型言語モデル(LLM)はすでに人間と同じくらい説得力がある。 本稿では, LLMの説得戦略について, 人為的議論と比較し検討する。
  論文  参考訳（メタデータ） (2024-04-14T19:01:20Z)
• Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models [12.700783525558721]
  GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。 本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T15:15:39Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts [76.18347405302728]
  本研究は、文字、単語、文、意味といった複数のレベルにわたるプロンプトを標的とした、敵対的なテキスト攻撃を多用する。 相手のプロンプトは、感情分析、自然言語推論、読書理解、機械翻訳、数学の問題解決など様々なタスクに使用される。 以上の結果から,現代の大規模言語モデルでは,敵対的プロンプトに対して頑健ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-07T15:37:00Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。