論文の概要: LLM Persuasion Is in the Eye of the Evaluation

• arxiv url: http://arxiv.org/abs/2610.10232v1
• Date: Wed, 07 Oct 2026 15:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.990067
• Title: LLM Persuasion Is in the Eye of the Evaluation
• Title（参考訳）: LLMの説得は評価の目玉だ
• Abstract要約: 大規模言語モデル(LLM)は、説得において人間の専門家と一致するか、あるいは超えることがすでに示されている。 それらは操作や誤変換に使用することができ、開発者や規制当局にとって評価が最優先事項になる。 9つの自動メソッドを共有設定に適応させ、同じ15のLLM上でそれらを実行し、それらのランキングが一致しているかどうか、なぜなのかを問う。
• 参考スコア（独自算出の注目度）: 5.398033856063457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have already been shown to match or exceed human experts in persuasion. While their persuasive capabilities hold promise for beneficial uses such as education and health communication, they can also be used to manipulate and misinform, making their evaluation a growing priority for developers and regulators. That evaluation, however, remains fragmented: studies differ in what they treat as persuasion, and broad claims often rest on narrow, situation-specific assessments. Automated methods, often modelled on human studies, offer a way to compare such assessments directly, as they can be run on the same models at scale and can include high-risk forms of persuasion that would be difficult or unethical to test on people. In this study, we adapt nine published automated methods to a shared setup, run them on the same fifteen LLMs, and ask whether their rankings agree and why. We find that the methods agree only weakly (mean Spearman $ρ= 0.25$). Our analyses point to two contributing factors. Models that refuse some tasks but not others, directly or indirectly, lower agreement by about a quarter, and these refusals fall mostly on manipulation tasks. General capability also plays a part: most rational persuasion (non-manipulative) methods track it, whereas most manipulation methods do not. Together, these findings suggest that agreement depends more on the task a method sets than on how it scores persuasion, although this pattern is only indicative given the eight methods available for analysis. More broadly, our results suggest that persuasion scores combine a model's ability to persuade with its willingness to do so. A single score is therefore informative about its own setting, but says little about a model's persuasiveness across tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、説得において人間の専門家と一致するか、あるいは超えることがすでに示されている。 説得力のある能力は教育や健康コミュニケーションなどの有益な用途を約束するが、操作や誤入力にも利用できるため、開発者や規制当局にとって評価が最優先される。 しかし、この評価は依然として断片的であり、研究は彼らが説得として扱うものと異なる。 自動化された手法は、しばしば人間の研究に基づいてモデル化され、そのような評価を直接比較する方法を提供する。 本研究では,9つの自動手法を共有設定に適応させ,同一の15個のLLM上で実行し,それらのランキングが一致しているかどうか,なぜなのかを問う。 これらの方法は弱にしか一致しない(つまり Spearman $ρ = 0.25$)。 我々の分析は2つの要因を示している。 いくつかのタスクを拒否するが、直接的あるいは間接的に、約4分の1の合意を下方修正しないモデル。 ほとんどの有理的な説得法(非操作的)はそれを追跡するが、ほとんどの操作法は追跡しない。 これらの結果から,このパターンは,解析に利用可能な8つの手法を考慮に入れた上でのみ示唆的であるものの,提案手法が設定する課題に大きく依存していることが示唆された。 より広範に、我々の結果は、説得のスコアは、モデルがそれをする意思で説得する能力を組み合わせることを示唆している。 したがって、一つのスコアは自身の設定について情報を与えるが、タスク間のモデルの説得力についてはほとんど語らない。

関連論文リスト

• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• Can You Trick the Grader? Adversarial Persuasion of LLM Judges [15.386741140145205]
  この研究は、戦略的に組み込まれた説得言語が数学的推論タスクを評価する際にLCMの判断に偏りがあることを初めて明らかにした。 我々は,7つの説得技法(マジョリティ,一貫性,フラタリー,互恵性,ピティ,権威,アイデンティティ)を定式化し,それらと全く同じ応答に組み込む。 説得力のある言語は、LCMの判断者が不正確な解に膨らませたスコアを、平均で最大8%の精度で割り当てることを可能にし、一貫性は最も深刻な歪みを引き起こす。
  論文  参考訳（メタデータ） (2025-08-11T09:45:02Z)
• How Do LLMs Persuade? Linear Probes Can Uncover Persuasion Dynamics in Multi-Turn Conversations [11.221875709359974]
  大規模言語モデル(LLM)は、人間を説得する能力を実証し始めている。 近年の研究では、モデル表現を分析するための軽量なツールである線形プローブを用いて、様々なLLM技術を研究している。 そこで本研究では,自然・マルチターン会話における説得力学の研究にプローブを適用した。
  論文  参考訳（メタデータ） (2025-08-07T17:58:41Z)
• It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics [5.418014947856176]
  我々は,説得的試みの頻度と文脈を説得し,測定する意思を識別する自動モデルを導入する。 オープンかつクローズドウェイトなモデルの多くは、有害なトピックに対する説得を積極的に試みている。
  論文  参考訳（メタデータ） (2025-06-03T13:37:51Z)
• Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems [82.92678837778358]
  嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。 フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-07-24T17:50:24Z)
• Among Us: Adversarially Robust Collaborative Perception by Consensus [50.73128191202585]
  複数のロボットは、シーン(例えば物体)を個人よりも協調的に知覚することができる。 本稿では,未知の攻撃者に対して一般化可能な新しいサンプリングベース防衛戦略であるROBOSACを提案する。 自律運転シナリオにおける協調3次元物体検出の課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-16T17:15:25Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
  大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。 人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
  論文  参考訳（メタデータ） (2021-06-12T17:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。