論文の概要: On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
- arxiv url: http://arxiv.org/abs/2403.14380v1
- Date: Thu, 21 Mar 2024 13:14:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:18:45.486697
- Title: On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
- Title（参考訳）: 大規模言語モデルの会話的説得性について:ランダム化制御試験
- Authors: Francesco Salvi, Manoel Horta Ribeiro, Riccardo Gallotti, Robert West,
- Abstract要約: 制御された無害な環境でAIによる説得の効果を分析する。
その結果、GPT-4を個人情報へのアクセスで議論した参加者は、人間を議論した参加者と比較して、相手との合意が増大する確率が81.7%高かった。
- 参考スコア（独自算出の注目度）: 10.770999939834985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development and popularization of large language models (LLMs) have raised concerns that they will be used to create tailor-made, convincing arguments to push false or misleading narratives online. Early work has found that language models can generate content perceived as at least on par and often more persuasive than human-written messages. However, there is still limited knowledge about LLMs' persuasive capabilities in direct conversations with human counterparts and how personalization can improve their performance. In this pre-registered study, we analyze the effect of AI-driven persuasion in a controlled, harmless setting. We create a web-based platform where participants engage in short, multiple-round debates with a live opponent. Each participant is randomly assigned to one of four treatment conditions, corresponding to a two-by-two factorial design: (1) Games are either played between two humans or between a human and an LLM; (2) Personalization might or might not be enabled, granting one of the two players access to basic sociodemographic information about their opponent. We found that participants who debated GPT-4 with access to their personal information had 81.7% (p < 0.01; N=820 unique participants) higher odds of increased agreement with their opponents compared to participants who debated humans. Without personalization, GPT-4 still outperforms humans, but the effect is lower and statistically non-significant (p=0.31). Overall, our results suggest that concerns around personalization are meaningful and have important implications for the governance of social media and the design of new online environments.
- Abstract（参考訳）: 大規模言語モデル(LLM)の開発と普及は、オンライン上で偽りや誤解を招く物語をプッシュするために、テーラーメイドで説得力のある議論を作るのに使用されるのではないかという懸念を提起している。
初期の研究で、言語モデルは少なくとも同程度に認識されたコンテンツを生成し、人間によるメッセージよりも説得力が高いことが判明した。
しかし、人間との直接会話におけるLLMの説得能力や、パーソナライズによってパフォーマンスが向上する方法についてはまだ知識が限られている。
この事前登録された研究では、制御された無害な環境でAIによる説得の効果を分析する。
私たちはWebベースのプラットフォームを作り、参加者はライブの相手と短時間で複数ラウンドの議論を行う。
各参加者はランダムに4つの治療条件のうちの1つに割り当てられ、(1)ゲームは2人または1人の人間と1人のLDMの間で行われ、(2)パーソナライゼーションは有効であるかもしれないし、その2人のプレイヤーのうちの1人が相手に関する基本的な社会学的な情報にアクセスできるようにする。
その結果、GPT-4を個人情報へのアクセスで議論した参加者は81.7%(p < 0.01; N=820)であり、反対者との合意が高まる確率は人間よりも高かった。
パーソナライゼーションがなければ、GPT-4は人間より優れているが、その効果は低く統計的に非有意である(p=0.31)。
以上の結果から,パーソナライズに関する懸念がソーシャルメディアのガバナンスや新しいオンライン環境の設計に重要な意味を持っていることが示唆された。
関連論文リスト
- Persona Knowledge-Aligned Prompt Tuning Method for Online Debate [42.28019112668135]
聴衆側から,議論品質評価タスクのためのペルソナ・ナレッジ・アライメント・フレームワークを提案する。
これはChatGPTの出現を利用して、聴衆のペルソナ知識をプロンプトチューニングを通じて小さな言語モデルに注入する最初の作品である。
論文 参考訳（メタデータ） (2024-10-05T17:33:11Z) - Self-Directed Turing Test for Large Language Models [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。
従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。
本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
論文 参考訳（メタデータ） (2024-08-19T09:57:28Z) - Large Language Models Can Infer Personality from Free-Form User Interactions [0.0]
GPT-4は、パーソナリティを適度な精度で推測することができ、以前のアプローチよりも優れていた。
その結果,人格評価への直接的注力は,ユーザエクスペリエンスの低下を招いていないことがわかった。
予備的な分析は、人格推定の正確さは、社会デミノグラフィーのサブグループによってわずかに異なることを示唆している。
論文 参考訳（メタデータ） (2024-05-19T20:33:36Z) - How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
チューリングテストに触発された評価フレームワークECHOを紹介する。
この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。
基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
論文 参考訳（メタデータ） (2024-04-22T08:00:51Z) - LLMs Among Us: Generative AI Participating in Digital Discourse [0.0]
LLMs among Us」は、ボットと人間の参加者が、ボットと人間の参加者の比率や性質を知らずにコミュニケーションする実験的な枠組みである。
実験を3ラウンド実施し,各ラウンド後の参加者を調査し,人間の検出を伴わずにLLMが人体として振る舞う能力を測定した。
実験では,ボットと人間の両方の存在を知りながら,被験者が他のユーザの性質を正しく識別できたのは42%に過ぎなかった。
論文 参考訳（メタデータ） (2024-02-08T19:21:33Z) - Can ChatGPT Read Who You Are? [10.577227353680994]
チェコ語で書かれたテキストを代表とする総合的なユーザスタディの結果を155人のサンプルで報告した。
本研究は,ChatGPTによる性格特性推定と人間による評価とを比較し,テキストから人格特性を推定する際のChatGPTの競争性能を報告する。
論文 参考訳（メタデータ） (2023-12-26T14:43:04Z) - Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning [67.33899440998175]
Chain-of-Opinion (COO)は、単純な4段階のソリューションモデリングであり、ペルソナによる推論方法である。
COOは明示的な人格(デモグラフィーとイデオロギー)と暗黙的な人格(歴史学的な意見)を区別する
COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。
論文 参考訳（メタデータ） (2023-11-14T18:48:27Z) - Locally Differentially Private Document Generation Using Zero Shot
Prompting [61.20953109732442]
本稿では,DP-Prompt と呼ばれる局所的に異なるプライベートなメカニズムを提案し,作者の匿名化攻撃に対処する。
DP-PromptをChatGPT(gpt-3.5)のような強力な言語モデルで使用すると、匿名化攻撃の成功率の顕著な低下が観察される。
論文 参考訳（メタデータ） (2023-10-24T18:25:13Z) - Do Large Language Models Show Decision Heuristics Similar to Humans? A
Case Study Using GPT-3.5 [0.0]
GPT-3.5は、ChatGPTと呼ばれる会話エージェントをサポートするLLMの例である。
本研究では,ChatGPTがバイアスを示すか,その他の決定効果を示すかを決定するために,一連の新しいプロンプトを用いた。
また、同じプロンプトをヒトでもテストしました。
論文 参考訳（メタデータ） (2023-05-08T01:02:52Z) - Partner Matters! An Empirical Study on Fusing Personas for Personalized
Response Selection in Retrieval-Based Chatbots [51.091235903442715]
本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。
4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。
Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
論文 参考訳（メタデータ） (2021-05-19T10:32:30Z) - M2P2: Multimodal Persuasion Prediction using Adaptive Fusion [65.04045695380333]
本稿では,ディベートアウトカム予測 (DOP) 問題において,誰が討論に勝つかを予測し,IPP (Intensity of Persuasion Prediction) 問題では,講演者の発言前後の投票数の変化を予測する。
我々のM2P2フレームワークはIPP問題を解決するためにマルチモーダル(音響、視覚、言語)データを使用した最初のフレームワークです。
論文 参考訳（メタデータ） (2020-06-03T18:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。