論文の概要: Academically intelligent LLMs are not necessarily socially intelligent

• arxiv url: http://arxiv.org/abs/2403.06591v1
• Date: Mon, 11 Mar 2024 10:35:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 19:20:49.916181
• Title: Academically intelligent LLMs are not necessarily socially intelligent
• Title（参考訳）: 学術的知的LLMは必ずしも社会的知的ではない
• Authors: Ruoxi Xu, Hongyu Lin, Xianpei Han, Le Sun, Yingfei Sun
• Abstract要約: 大規模言語モデル(LLM)の学術的インテリジェンス(英語版)は近年顕著な進歩を遂げているが、その社会的インテリジェンスのパフォーマンスは未だ不明である。 人間の社会知能フレームワークの確立に触発されて,現実の社会的シナリオに基づいた標準化された社会知能テストを開発した。
• 参考スコア（独自算出の注目度）: 56.452845189961444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The academic intelligence of large language models (LLMs) has made remarkable progress in recent times, but their social intelligence performance remains unclear. Inspired by established human social intelligence frameworks, particularly Daniel Goleman's social intelligence theory, we have developed a standardized social intelligence test based on real-world social scenarios to comprehensively assess the social intelligence of LLMs, termed as the Situational Evaluation of Social Intelligence (SESI). We conducted an extensive evaluation with 13 recent popular and state-of-art LLM agents on SESI. The results indicate the social intelligence of LLMs still has significant room for improvement, with superficially friendliness as a primary reason for errors. Moreover, there exists a relatively low correlation between the social intelligence and academic intelligence exhibited by LLMs, suggesting that social intelligence is distinct from academic intelligence for LLMs. Additionally, while it is observed that LLMs can't ``understand'' what social intelligence is, their social intelligence, similar to that of humans, is influenced by social factors.
• Abstract（参考訳）: 大規模言語モデルの学術的知性(llm)は近年著しく進歩しているが、その社会的知性のパフォーマンスはいまだに不明である。 特にダニエル・ゴールマン(英語版)の社会知能理論(英語版)の確立した社会知能フレームワークに触発され、現実の社会的シナリオに基づく標準化された社会知能テストを開発し、社会知能の状況評価(SESI)と呼ばれるLLMの社会的知能を包括的に評価した。 sesiの最近の人気および最先端のllmエージェント13名を対象に広範な評価を行った。 その結果、LLMの社会的知性は依然として改善の余地があり、表面的には親しみがエラーの主な原因であることがわかった。 さらに,社会知能と学術知能との間には相対的に低い相関関係が存在し,社会知能と学術知能との相関関係が示唆された。 加えて、LLMは社会的知能とは何か「理解」できないが、その社会的知能は人間のものと類似しており、社会的要因の影響を受けている。

関連論文リスト

• Entering Real Social World! Benchmarking the Theory of Mind and Socialization Capabilities of LLMs from a First-person Perspective [22.30892836263764]
  人工知能(AI)の時代、特に大規模言語モデル(LLM)の開発において、興味深い疑問が浮かび上がっている。 LLMはToMとソーシャル化の機能の観点からどのように機能するか? EgoSocialArenaは,LLMのToMと社会化能力を評価するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-08T16:55:51Z)
• InterIntent: Investigating Social Intelligence of LLMs via Intention Understanding in an Interactive Game Context [27.740204336800687]
  大規模言語モデル(LLM)は、人間の社会的知性を模倣する可能性を実証している。 我々は,ゲーム環境における意図を理解し,管理する能力をマッピングすることで,LLMの社会的知性を評価する新しい枠組みであるInterIntentを開発した。
  論文  参考訳（メタデータ） (2024-06-18T02:02:15Z)
• Exploring Prosocial Irrationality for LLM Agents: A Social Cognition View [21.341128731357415]
  大規模言語モデル(LLM)は、人間のバイアスを頻繁に含んでいるデータのために幻覚に直面することが示されている。 幻覚特性を利用してLLMエージェントのソーシャルインテリジェンスを評価し,強化するオープンエンドマルチLLMエージェントフレームワークであるCogMirを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:13:33Z)
• Advancing Social Intelligence in AI Agents: Technical Challenges and Open Questions [67.60397632819202]
  ソーシャルインテリジェントAIエージェント(Social-AI)の構築は、多分野、マルチモーダルな研究目標である。 我々は、社会AIを前進させるために、基礎となる技術的課題と、コンピューティングコミュニティ全体にわたる研究者のためのオープンな質問を特定します。
  論文  参考訳（メタデータ） (2024-04-17T02:57:42Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• DeSIQ: Towards an Unbiased, Challenging Benchmark for Social Intelligence Understanding [60.84356161106069]
  複雑な社会的相互作用のビデオ上での複数選択質問のデータセットであるSocial-IQの健全性について検討する。 分析の結果,Social-IQにはある程度のバイアスがあり,適度に強い言語モデルによって活用できることがわかった。 ソーシャルIQに単純な摂動を適用して構築した,新たな挑戦的データセットであるDeSIQを紹介する。
  論文  参考訳（メタデータ） (2023-10-24T06:21:34Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)
• Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns [51.622612759892775]
  社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。 近年,大規模言語モデル(LLM)の急速な発展を目撃している。 LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
  論文  参考訳（メタデータ） (2023-05-08T16:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。