論文の概要: Evaluating the Capabilities of LLMs for Persuasive Dialogue
- arxiv url: http://arxiv.org/abs/2608.29738v1
- Date: Sun, 30 Aug 2026 12:03:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.054318
- Title: Evaluating the Capabilities of LLMs for Persuasive Dialogue
- Title(参考訳): 説得的対話のためのLLMの能力評価
- Abstract要約: 大きな言語モデル (LLMs) は明らかに説得力のあるテキストを生成することができるが、説得力のある発音は議論をうまく行うことを意味するのだろうか?
我々は,多言語対話プラットフォームであるtextscPersuasio を紹介した。
このシステムを用いて、英国における人間とLLMの政治的話題に関する192の議論を発生させ、自動判断と9,702人のクラウドソースによるペアの判断を通じて、22人のインターロケータを評価した。
- 参考スコア(独自算出の注目度): 3.3571381688392488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can generate apparently highly persuasive text, but does sounding persuasive mean arguing well? We introduce \textsc{Persuasio}, a multi-agent dialogue platform grounded in a formal argumentation-based theory of persuasion dialogues that adjudicates logical winners during free-text debates. Using this system, we generated 192 debates on a UK political topic between humans and LLMs, and evaluated 22 interlocutors through both automated adjudication and 9,702 crowdsourced pairwise judgements across 1{,}386 annotation instances. We observed a consistent decoupling between subjective and formal persuasiveness: LLMs dominated the subjective ranking yet performed substantially worse under argumentation-theoretic adjudication, where humans remained competitive. Multi-agent and retrieval-augmented variants further widened this divergence. These findings reveal a systematic gap between rhetorical fluency and formal argumentative strength in LLM-based persuasive dialogues.
- Abstract(参考訳): 大きな言語モデル (LLMs) は明らかに説得力のあるテキストを生成することができるが、説得力のある発音は議論をうまく行うことを意味するのだろうか?
自由文討論において論理的勝者を代弁する説得対話の形式的議論に基づく対話理論を基礎とした多エージェント対話プラットフォームである‘textsc{Persuasio} を紹介する。
このシステムを用いて、英国における人間とLLMの政治的トピックに関する192の議論を発生させ、自動判断と1{,}386のアノテーションインスタンスにわたる9,702のクラウドソースによるペアの判断を通じて、22のインターロケータを評価した。
主観的・形式的説得力の相反する疎結合が観察された。LLMは主観的ランキングを独占するが、人間は競争力を維持した議論理論的偏見の下では著しく悪化した。
マルチエージェントと検索拡張型は、この分岐をさらに広げた。
以上の結果から,LLMに基づく説得的対話において,修辞流布と形式的議論力の体系的ギャップが明らかとなった。
関連論文リスト
- SAD: A Large-Scale Strategic Argumentative Dialogue Dataset [60.33125467375306]
実際には、議論はしばしばマルチターン対話として実現される。
大規模なtextbfStrategic textbfArgumentative textbfDialogue データセットは,392,822例からなる。
論文 参考訳(メタデータ) (2026-01-12T11:11:37Z) - MMPersuade: A Dataset and Evaluation Framework for Multimodal Persuasion [73.99171322670772]
LVLM(Large Vision-Language Models)は、ショッピング、健康、ニュースなどの分野に展開されている。
MMPersuadeはLVLMにおけるマルチモーダルパーサージョンダイナミクスを体系的に研究するための統一的なフレームワークを提供する。
論文 参考訳(メタデータ) (2025-10-26T17:39:21Z) - The Thin Line Between Comprehension and Persuasion in LLMs [0.0]
大規模言語モデル(LLM)は高レベルで説得力のある対話を維持するのに優れている。
私たちは、この能力が話されていることに対する理解にどのように関係しているかを測定します。
LLMは一貫性のある説得力のある議論を維持でき、しばしば参加者や聴衆の信念を揺さぶる。
論文 参考訳(メタデータ) (2025-07-02T17:46:56Z) - DialogueReason: Rule-Based RL Sparks Dialogue Reasoning in LLMs [54.4857963044859]
本稿では,モノローグ型推論モデルにおける失われた役割を明らかにする推論パラダイムであるDialogueReasonを提案する。
本研究は,モノログ推論パターンの分析と対話に基づく推論手法の開発から成っている。
論文 参考訳(メタデータ) (2025-05-11T16:39:58Z) - Large Language Models Understanding: an Inherent Ambiguity Barrier [0.0]
世界を理解する能力に関して、LLM(Large Language Models)の出現以来、活発に議論が続いている。
議論と反論は、思考実験、LLMと人間との逸話会話、統計的言語分析、哲学的考察などに基づいて提案されている。
本稿では, 思考実験と半形式的考察に基づいて, 内在的あいまいさの障壁に繋がる反論を提示する。
論文 参考訳(メタデータ) (2025-05-01T16:55:44Z) - Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。
本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。
オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
論文 参考訳(メタデータ) (2024-06-16T20:41:44Z) - SocraSynth: Multi-LLM Reasoning with Conditional Statistics [2.5200794639628032]
大きな言語モデル(LLM)は偏見や幻覚、推論能力の欠如に対する批判に直面している。
本稿では,これらの問題を緩和するために開発されたマルチLLMエージェント推論プラットフォームであるSocra Synthを紹介する。
論文 参考訳(メタデータ) (2024-01-19T07:16:21Z) - BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。
そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。
GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文 参考訳(メタデータ) (2023-10-20T16:53:51Z) - A Unifying Framework for Learning Argumentation Semantics [47.84663434179473]
Inductive Logic Programmingアプローチを用いて、抽象的および構造化された議論フレームワークのアクセシビリティセマンティクスを解釈可能な方法で学習する新しいフレームワークを提案する。
提案手法は既存の議論解法よりも優れており,フォーマルな議論や人間と機械の対話の領域において,新たな研究の方向性が開けることになる。
論文 参考訳(メタデータ) (2023-10-18T20:18:05Z) - Opening up Minds with Argumentative Dialogues [14.903849413791443]
議論的な対話は、他人の心を開いて、不慣れな見解や自分の信念に反する見解をより理解するのを助けることを目的としています。
我々は、ベガニズム、ブレグジット、COVID-19ワクチン接種という3つの議論の的となっているトピックに関する183の議論的な対話のデータセットを提示する。
心理学文献からのアンケートを用いて,対話前後のオープンマインドネスを測定した。
論文 参考訳(メタデータ) (2023-01-16T12:47:16Z) - Strategic Argumentation Dialogues for Persuasion: Framework and
Experiments Based on Modelling the Beliefs and Concerns of the Persuadee [6.091096843566857]
特定の対話において議論が良いかどうかを決定するための2つの重要な次元は、意図する観衆が議論と反論を信じる程度であり、議論が意図する観衆の関心に与える影響である。
本稿では,これらのモデルを用いて,説得的対話における移動の選択を最適化する枠組みを提案する。
論文 参考訳(メタデータ) (2021-01-28T08:49:24Z) - Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。
実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
論文 参考訳(メタデータ) (2020-05-27T02:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。