論文の概要: PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios

• arxiv url: http://arxiv.org/abs/2610.20548v1
• Date: Wed, 14 Oct 2026 17:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.28503
• Title: PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios
• Title（参考訳）: PerSo:現実の説得シナリオにおけるLLMの社会的知能の側面を探る
• Abstract要約: 社会的知能は認知知能、他者の精神状態を推測する能力、行動知能から構成される。 PerSoはRedditのChangeMyViewコミュニティによる現実世界の説得対話に関する両方の側面を評価するベンチマークである。 LLMの多種多様な評価は、一般にモデルサイズでスケールするが、寸法によって異なることを示す。
• 参考スコア（独自算出の注目度）: 14.997265451547486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the social intelligence of large language models (LLMs) is increasingly important for applications involving human-AI interaction and multi-agent environments. Social intelligence comprises two aspects: cognitive intelligence, the ability to infer others' mental states, and behavioral intelligence, the ability to select appropriate social actions based on these inferences to achieve social goals. Persuasion provides a natural testbed in which both aspects are simultaneously at play, yet prior benchmarks typically evaluate them in isolation using synthetic scenarios. We introduce PerSo, a benchmark that evaluates both aspects on real-world persuasion dialogues from Reddit's ChangeMyView community, using an LLM-in-the-loop pipeline to construct the evaluation tasks, validated through human annotation. Our evaluation of diverse LLMs shows that performance generally scales with model size but varies across dimensions. The strongest LLM slightly surpasses the best observed human performance on the behavioral task, while the best human participant remains ahead on the cognitive task.
• Abstract（参考訳）: 大規模言語モデル(LLM)のソーシャルインテリジェンスを理解することは、人間とAIのインタラクションやマルチエージェント環境を含むアプリケーションにとってますます重要になっている。 社会的知性は、認知知性、他者の精神状態を推測する能力、行動知性、社会的目標を達成するためにこれらの推論に基づいて適切な社会的行動を選択する能力の2つの側面から構成される。 Persuasionは、両方のアスペクトが同時に動作する自然なテストベッドを提供するが、以前のベンチマークは通常、合成シナリオを使用してそれらを分離して評価する。 RedditのChangeMyViewコミュニティから,LLM-in-the-loopパイプラインを使用して,人間のアノテーションによって評価された評価タスクを構築することで,実世界の問合せ対話を両面から評価するベンチマークであるPerSoを紹介した。 LLMの多種多様な評価は、一般にモデルサイズでスケールするが、寸法によって異なることを示す。 最強のLLMは、行動タスクにおいて最も観察された人間のパフォーマンスをわずかに上回り、最高の人間の参加者は認知タスクに先んじている。

関連論文リスト

• Communicate-Predict-Act: Evaluating Social Intelligence of Agents [15.575081867336529]
  我々は,大規模言語モデル(LLM)のソーシャルインテリジェンスを研究するために,複合協調型および競争型ソーシャルゲームのマルチプレイヤーアリーナを導入する。 ゲームプレイのトレースを分析し,行動予測,コミュニケーション的影響,戦略的推論,競合する利益の下でのトレードオフを捉えた社会認知的指標を抽出する。
  論文  参考訳（メタデータ） (2026-04-09T19:40:15Z)
• Social-R1: Towards Human-like Social Reasoning in LLMs [74.32494331695837]
  我々は、人間のような社会知性を育むためには、ショートカットソリューションに抵抗する挑戦的なケースでのトレーニングが必要であると論じる。 モデル推論と人間の認知を多次元報酬で整合させる強化学習フレームワークSocial-R1を提案する。
  論文  参考訳（メタデータ） (2026-03-10T06:26:24Z)
• HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
  HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。 私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。 次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
  論文  参考訳（メタデータ） (2026-01-22T09:27:27Z)
• Social Simulations with Large Language Model Risk Utopian Illusion [61.358959720048354]
  社会シミュレーションにおける大規模言語モデルの行動分析のための体系的枠組みを提案する。 本手法は,チャットルーム型会話を通してマルチエージェントインタラクションをシミュレートし,5つの言語的側面にわたって解析する。 以上の結果から,LSMは真の人間の行動を忠実に再現するのではなく,過度に理想化されたバージョンを反映していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-24T06:08:41Z)
• SocialEval: Evaluating Social Intelligence of Large Language Models [70.90981021629021]
  ソーシャルインテリジェンス(英語版) (SI) は、社会的目標を達成するために社会的相互作用をナビゲートする際に賢明に行動する対人能力を持つ人間を装備する。 結果指向の目標達成評価とプロセス指向の対人能力評価という,運用評価パラダイムを提示する。 スクリプトベースのバイリンガルSIベンチマークであるSocialEvalを提案する。
  論文  参考訳（メタデータ） (2025-06-01T08:36:51Z)
• EgoSocialArena: Benchmarking the Social Intelligence of Large Language Models from a First-person Perspective [22.30892836263764]
  社会知能は認知知能、状況知能、行動知能の3つの柱の上に構築されている。 EgoSocialArenaは、個人の視点から、大規模言語モデルの社会的インテリジェンスを体系的に評価することを目的としている。
  論文  参考訳（メタデータ） (2024-10-08T16:55:51Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。