論文の概要: EgoSocialArena: Benchmarking the Social Intelligence of Large Language Models from a First-person Perspective

• arxiv url: http://arxiv.org/abs/2410.06195v3
• Date: Mon, 24 Feb 2025 02:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:50:24.000031
• Title: EgoSocialArena: Benchmarking the Social Intelligence of Large Language Models from a First-person Perspective
• Title（参考訳）: EgoSocialArena: 大規模言語モデルのソーシャルインテリジェンスを個人的視点からベンチマークする
• Authors: Guiyang Hou, Wenqi Zhang, Yongliang Shen, Zeqi Tan, Sihao Shen, Weiming Lu,
• Abstract要約: 社会知能は認知知能、状況知能、行動知能の3つの柱の上に構築されている。 EgoSocialArenaは、個人の視点から、大規模言語モデルの社会的インテリジェンスを体系的に評価することを目的としている。
• 参考スコア（独自算出の注目度）: 22.30892836263764
• License:
• Abstract: Social intelligence is built upon three foundational pillars: cognitive intelligence, situational intelligence, and behavioral intelligence. As large language models (LLMs) become increasingly integrated into our social lives, understanding, evaluating, and developing their social intelligence are becoming increasingly important. While multiple existing works have investigated the social intelligence of LLMs, (1) most focus on a specific aspect, and the social intelligence of LLMs has yet to be systematically organized and studied; (2) position LLMs as passive observers from a third-person perspective, such as in Theory of Mind (ToM) tests. Compared to the third-person perspective, ego-centric first-person perspective evaluation can align well with actual LLM-based Agent use scenarios. (3) a lack of comprehensive evaluation of behavioral intelligence, with specific emphasis on incorporating critical human-machine interaction scenarios. In light of this, we present EgoSocialArena, a novel framework grounded in the three pillars of social intelligence: cognitive, situational, and behavioral intelligence, aimed to systematically evaluate the social intelligence of LLMs from a first-person perspective. With EgoSocialArena, we conduct a comprehensive evaluation of eight prominent foundation models, even the most advanced LLMs like O1-preview lag behind human performance.
• Abstract（参考訳）: 社会知能は、認知知能、状況知能、行動知能の3つの基本的な柱の上に構築されている。 大規模言語モデル(LLM)が私たちの社会生活に統合されるにつれ、その社会的知性を理解し、評価し、開発することがますます重要になってきています。 複数の既存研究がLDMの社会的知性について研究しているが、(1)特定の側面に焦点をあて、LSMの社会的知性はまだ体系的に組織化され研究されていない。 3人称視点と比較して、エゴ中心の1人称視点評価は、実際のLLMベースのエージェントの使用シナリオとよく一致させることができる。 3) 行動知能の包括的評価が欠如しており, 重要な人間と機械の相互作用のシナリオを取り入れることに特に重点が置かれている。 そこで我々は,認知,状況,行動知の3つの柱に根ざした新しい枠組みであるEgoSocialArenaを紹介し,LLMの社会的知能を一人称視点から体系的に評価することを目的とした。 EgoSocialArenaでは、O1-previewのような最上級のLLMでさえも、人間のパフォーマンスに遅れを取っている8つの重要な基礎モデルの総合的な評価を行う。

関連論文リスト

• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• InterIntent: Investigating Social Intelligence of LLMs via Intention Understanding in an Interactive Game Context [27.740204336800687]
  大規模言語モデル(LLM)は、人間の社会的知性を模倣する可能性を実証している。 我々は,ゲーム環境における意図を理解し,管理する能力をマッピングすることで,LLMの社会的知性を評価する新しい枠組みであるInterIntentを開発した。
  論文  参考訳（メタデータ） (2024-06-18T02:02:15Z)
• Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
  社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。 本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T13:32:09Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• Academically intelligent LLMs are not necessarily socially intelligent [56.452845189961444]
  大規模言語モデル(LLM)の学術的インテリジェンス(英語版)は近年顕著な進歩を遂げているが、その社会的インテリジェンスのパフォーマンスは未だ不明である。 人間の社会知能フレームワークの確立に触発されて,現実の社会的シナリオに基づいた標準化された社会知能テストを開発した。
  論文  参考訳（メタデータ） (2024-03-11T10:35:53Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)
• Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns [51.622612759892775]
  社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。 近年,大規模言語モデル(LLM)の急速な発展を目撃している。 LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
  論文  参考訳（メタデータ） (2023-05-08T16:10:18Z)
• Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs [77.88043871260466]
  私たちは、今日の最大の言語モデルのひとつに、このようなソーシャルインテリジェンスを最初から欠いていることを示しています。 我々は、人中心のNLPアプローチは、マインドの神経理論に対してより効果的であるかもしれないと結論づける。
  論文  参考訳（メタデータ） (2022-10-24T14:58:58Z)
• Social Neuro AI: Social Interaction as the "dark matter" of AI [0.0]
  我々は、社会心理学と社会神経科学の実証結果と力学の枠組みが、よりインテリジェントな人工エージェントの開発にインスピレーションを与えることができると主張している。
  論文  参考訳（メタデータ） (2021-12-31T13:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。