論文の概要: Do LLMs Change Their Minds Like Humans? Diagnosing Human--LLM Divergence in Single-Turn Persuasion Judgments
- arxiv url: http://arxiv.org/abs/2608.29803v1
- Date: Sun, 30 Aug 2026 14:08:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.079537
- Title: Do LLMs Change Their Minds Like Humans? Diagnosing Human--LLM Divergence in Single-Turn Persuasion Judgments
- Title(参考訳): LLMは人間のように心を変えるか? : 単調の説得判断における人間-LLMの多様性を診断する
- Abstract要約: 大規模言語モデル (LLMs) は、社会シミュレーションの参加者のためのプロキシとして、ますます多くデプロイされている。
自然発生型オンライン説得コーパスを用いて体系的な比較を行う。
以上の結果から,LSMは人間とわずかに一致していることがわかった。
- 参考スコア(独自算出の注目度): 10.717755637740948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed as proxies for human participants in social simulations, yet whether they update their beliefs in response to persuasive arguments, as humans do, remains poorly understood. We conduct a systematic comparison using a naturally occurring online persuasion corpus in which original posters explicitly verify whether a reply changed their view. Our results show that LLMs achieve only slight agreement with humans (Cohen's kappa ranging from 0.079 to 0.178). Content-level analyses show that humans and LLMs agree on the strongest persuasion cues but diverge on finer ones: humans are more swayed by novel content and assertive language, whereas LLMs favor topical similarity and surface-level formatting. At the level of persuasion strategy, LLMs underweight emotional appeals and overweight credibility signals relative to humans, while the type of proposition under debate exerts no measurable effect on the degree of divergence. Furthermore, switching from first-person role-playing to third-person observation shifts all models toward greater resistance to persuasion, with the effect varying across persuasion strategies and textual features. These findings highlight the risk of treating LLM judgments as faithful proxies for human belief updating and point to structural differences in how LLMs and humans process persuasive discourse. Our code is available at https://github.com/tsinghua-fib-lab/LLM-belief-update-cmv.
- Abstract(参考訳): 大規模言語モデル(LLM)は、社会シミュレーションの参加者のプロキシとして、ますます多くデプロイされているが、人間のように説得力のある議論に応えて、彼らの信念を更新するかどうかはまだよく分かっていない。
そこで本研究では,自然発生型オンライン説得コーパスを用いて,回答が視点を変えたかどうかを,オリジナルポスターが明示的に検証するシステム比較を行った。
以上の結果から,LLMは人間とわずかに一致している(Cohen's kappaは0.079~0.178)。
コンテンツレベルの分析では、人間とLLMは最強の説得方法に同意するが、より微細なものに偏っていることが示され、人間はより斬新な内容や断定的な言語に揺れている一方、LLMはトピックレベルの類似性や表面レベルのフォーマットを好む。
説得戦略のレベルでは、LLMは人間に対する過度な感情的魅力と過度な信頼性の信号であり、議論中の命題のタイプはばらつきの程度に測定可能な影響を与えない。
さらに,一対一のロールプレイングから三対一の観察への切り替えは,すべてのモデルを説得に対する抵抗性にシフトさせ,その効果は説得戦略やテキストの特徴によって異なる。
これらの知見は、LLM判断を人間の信念更新のための忠実なプロキシとして扱うリスクを強調し、LLMと人間がどのように説得的談話を処理するかという構造的差異を指摘する。
私たちのコードはhttps://github.com/tsinghua-fib-lab/LLM-belief-update-cmv.comから入手可能です。
関連論文リスト
- Belief Cascades Drive Persuasion in LLM Agent Networks [71.17605142402785]
本研究では,実世界のego-networkトポロジに根ざしたLLMエージェントのネットワーク上で,ゴール指向の説得者がどのようにスタンスをシフトするかを検討する。
直接露光は、競合走における次のラウンドの姿勢変化を確実に予測し、ピアリレーは小さいが測定可能な影響をもたらすことを示す。
これらの結果は、多エージェントの説得を軌跡レベルのプロセスと露出レベルのプロセスとして評価することを主張する。
論文 参考訳(メタデータ) (2026-08-25T21:01:19Z) - "I understand your perspective": LLM Persuasion and Sycophancy through the Lens of Communicative Action Theory [6.227886907896225]
LLM(Large Language Models)は、高品質な議論を生成できるが、ニュアンスと説得力のあるコミュニケーション行動に関与する能力はほとんど探索されていない。
この研究は、Jrgen HabermasのCommunicative Action理論の枠組みを通して、LLMの説得可能性を探究する。
論文 参考訳(メタデータ) (2026-06-06T09:54:31Z) - Can LLMs Emulate Human Belief Dynamics? [4.918358353535447]
LLMは初期の人間の信念の分布を捉えることができず、人間よりも全体的な適合性が高い傾向にある。
彼らはまた、ネットワーク内のヒトの同性愛傾向をエミュレートするためのニュアンスなアプローチを取る。
論文 参考訳(メタデータ) (2026-05-05T23:21:11Z) - Who Do LLMs Trust? Human Experts Matter More Than Other LLMs [4.125187280299246]
大規模言語モデル(LLM)は、他のエージェントの回答、ツールアウトプット、ヒューマンレコメンデーションといった社会的情報に遭遇する環境において、ますます運用されるようになっている。
本稿では、LLMが類似した影響パターンを示し、他のLLMからのフィードバックよりも人間からのフィードバックを特権的に受けられるかどうかを検討する。
論文 参考訳(メタデータ) (2026-02-14T03:03:29Z) - Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。
我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。
以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文 参考訳(メタデータ) (2025-05-28T01:31:54Z) - Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。
文脈特性が人間の信頼行動に大きく影響していることが判明した。
これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文 参考訳(メタデータ) (2024-07-10T18:00:05Z) - Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments [0.0]
大型言語モデル(LLM)はすでに人間と同じくらい説得力がある。
本稿では, LLMの説得戦略について, 人為的議論と比較し検討する。
論文 参考訳(メタデータ) (2024-04-14T19:01:20Z) - Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。
本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文 参考訳(メタデータ) (2024-03-17T07:08:55Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。