論文の概要: Communicate-Predict-Act: Evaluating Social Intelligence of Agents

• arxiv url: http://arxiv.org/abs/2604.08727v1
• Date: Thu, 09 Apr 2026 19:40:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.560507
• Title: Communicate-Predict-Act: Evaluating Social Intelligence of Agents
• Title（参考訳）: コミュニケーション予測法:エージェントの社会的知性を評価する
• Authors: David Shoresh, Sarit Kraus, Yonatan Loewenstein,
• Abstract要約: 我々は,大規模言語モデル(LLM)のソーシャルインテリジェンスを研究するために,複合協調型および競争型ソーシャルゲームのマルチプレイヤーアリーナを導入する。 ゲームプレイのトレースを分析し,行動予測,コミュニケーション的影響,戦略的推論,競合する利益の下でのトレードオフを捉えた社会認知的指標を抽出する。
• 参考スコア（独自算出の注目度）: 15.575081867336529
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As large language model (LLM) agents become more prevalent in real world social settings, social intelligence will play an increasingly critical role. But social intelligence is still a poorly defined construct, for humans and artificial agents. We introduce a multiplayer arena of mixed cooperative and competitive social games to study LLM social intelligence. The controllability of LLM based agents enables systematic evaluation, which also supports broader inferences about social intelligence per se. We evaluated eight diverse LLMs (24B to 1T parameters) using a Communicate Predict Act (COMPACT) interaction protocol and fine grained probing of social dynamics. Elo style ratings reveal consistent performance differences across models, but this scalar measure provides only a partial characterization of social intelligence. To address this limitation, we analyze gameplay traces to extract sociocognitive metrics capturing action prediction, communicative influence, strategic reasoning, and tradeoffs under conflicting interests. These sociocognitive metrics exhibit strong intramodel consistency and they reliably predict pairwise agent advantage in game outcomes (AUC ROC = 0.82). Feature importance analysis indicates that surprisingly, influence, transparency, and adaptability are more predictive of success than Theory of Mind inference or deep planning. Together, our results advance a testable, multidimensional conception of social intelligence and provide empirical insights into the capacities that underpin it.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントが現実社会で普及するにつれて、社会知性はますます重要な役割を担うようになる。 しかし、ソーシャルインテリジェンスはまだ、人間や人工エージェントにとって、十分に定義されていない構造だ。 LLMソーシャルインテリジェンスを研究するために,複合協調型・競争型ソーシャルゲームのマルチプレイヤーアリーナを導入する。 LLMをベースとしたエージェントの制御性は、体系的な評価を可能にし、社会知性に関するより広範な推論もサポートする。 我々は,Communicate Predict Act (COMPACT) のインタラクションプロトコルとソーシャルダイナミクスのきめ細かいきめ細かな探索を用いて,8種類のLCM(24Bから1Tパラメータ)を評価した。 エロスタイルの評価は、モデル間で一貫したパフォーマンスの違いを示すが、このスカラー尺度は、社会的知性の部分的な特徴のみを提供する。 この制限に対処するために、ゲームプレイトレースを分析し、競合する利益の下で行動予測、コミュニケーション的影響、戦略的推論、トレードオフを捉えた社会認知的指標を抽出する。 これらの社会認知的指標は強いモデル内整合性を示し、ゲーム結果(AUC ROC = 0.82)においてペアワイズエージェントの利点を確実に予測する。 特徴的重要性の分析は、驚くほど、影響、透明性、適応性が、心の理論や深い計画よりも成功を予測できることを示している。 その結果,社会的知能の実証可能な多次元概念を推し進め,その基盤となる能力に関する実証的な洞察を提供することができた。

関連論文リスト

• One Model, All Roles: Multi-Turn, Multi-Agent Self-Play Reinforcement Learning for Conversational Social Intelligence [25.89075578734277]
  本稿では,AIのための強化学習フレームワークであるOMAR: One Model, All Rolesを紹介する。 OMARは、単一のモデルですべての参加者を同時にロールプレイし、長期的な目標と複雑な社会的規範を達成することを学べる。 訓練されたモデルは、共感、説得、妥協探究といった、きめ細やかな、創発的な社会知性を発達させます。
  論文  参考訳（メタデータ） (2026-02-03T05:09:49Z)
• SocialEval: Evaluating Social Intelligence of Large Language Models [70.90981021629021]
  ソーシャルインテリジェンス(英語版) (SI) は、社会的目標を達成するために社会的相互作用をナビゲートする際に賢明に行動する対人能力を持つ人間を装備する。 結果指向の目標達成評価とプロセス指向の対人能力評価という,運用評価パラダイムを提示する。 スクリプトベースのバイリンガルSIベンチマークであるSocialEvalを提案する。
  論文  参考訳（メタデータ） (2025-06-01T08:36:51Z)
• EgoSocialArena: Benchmarking the Social Intelligence of Large Language Models from a First-person Perspective [22.30892836263764]
  社会知能は認知知能、状況知能、行動知能の3つの柱の上に構築されている。 EgoSocialArenaは、個人の視点から、大規模言語モデルの社会的インテリジェンスを体系的に評価することを目的としている。
  論文  参考訳（メタデータ） (2024-10-08T16:55:51Z)
• SocialBench: Sociality Evaluation of Role-Playing Conversational Agents [85.6641890712617]
  大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。 SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。 個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
  論文  参考訳（メタデータ） (2024-03-20T15:38:36Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。