論文の概要: SocialBench: Sociality Evaluation of Role-Playing Conversational Agents
- arxiv url: http://arxiv.org/abs/2403.13679v4
- Date: Mon, 5 Aug 2024 13:32:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 23:16:45.895120
- Title: SocialBench: Sociality Evaluation of Role-Playing Conversational Agents
- Title(参考訳): SocialBench:ロールプレイング会話エージェントの社会的評価
- Authors: Hongzhan Chen, Hehong Chen, Ming Yan, Wenshen Xu, Xing Gao, Weizhou Shen, Xiaojun Quan, Chenliang Li, Ji Zhang, Fei Huang, Jingren Zhou,
- Abstract要約: 大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。
SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。
個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
- 参考スコア(独自算出の注目度): 85.6641890712617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have advanced the development of various AI conversational agents, including role-playing conversational agents that mimic diverse characters and human behaviors. While prior research has predominantly focused on enhancing the conversational capability, role-specific knowledge, and stylistic attributes of these agents, there has been a noticeable gap in assessing their social intelligence. In this paper, we introduce SocialBench, the first benchmark designed to systematically evaluate the sociality of role-playing conversational agents at both individual and group levels of social interactions. The benchmark is constructed from a variety of sources and covers a wide range of 500 characters and over 6,000 question prompts and 30,800 multi-turn role-playing utterances. We conduct comprehensive evaluations on this benchmark using mainstream open-source and closed-source LLMs. We find that agents excelling in individual level does not imply their proficiency in group level. Moreover, the behavior of individuals may drift as a result of the influence exerted by other agents within the group. Experimental results on SocialBench confirm its significance as a testbed for assessing the social interaction of role-playing conversational agents. The benchmark is publicly accessible at https://github.com/X-PLUG/SocialBench.
- Abstract(参考訳): 大型言語モデル(LLM)は、さまざまなキャラクターや人間の振る舞いを模倣するロールプレイングな会話エージェントを含む、さまざまなAI会話エージェントの開発を進めてきた。
これまでの研究では、会話能力、役割固有の知識、そしてこれらのエージェントのスタイル的特性の強化に主に焦点が当てられていたが、社会的知性を評価することには顕著なギャップがあった。
本稿では,ソーシャルインタラクションの個人レベルとグループレベルの両方において,ロールプレイング・会話エージェントの社会的性を体系的に評価するための最初のベンチマークであるSocialBenchを紹介する。
ベンチマークは様々なソースから構築され、500文字、6000以上の質問プロンプト、30,800のマルチターンロールプレイング発話をカバーする。
本ベンチマークでは,主要なオープンソースおよびクローズドソース LLM を用いて総合評価を行う。
個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
さらに、グループ内の他のエージェントによる影響の結果、個人の行動が漂流する可能性がある。
SocialBenchの実験結果は、ロールプレイング会話エージェントの社会的相互作用を評価するためのテストベッドとしての重要性を確認した。
ベンチマークはhttps://github.com/X-PLUG/SocialBench.comで公開されている。
関連論文リスト
- PersLLM: A Personified Training Approach for Large Language Models [63.75008885222351]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - CloChat: Understanding How People Customize, Interact, and Experience
Personas in Large Language Models [15.915071948354466]
CloChatは、大規模言語モデルにおけるエージェントペルソナの簡単かつ正確なカスタマイズをサポートするインターフェースである。
その結果、参加者はカスタマイズされたエージェントと感情結合を形成し、よりダイナミックな対話を行い、相互作用を持続することに興味を示した。
論文 参考訳(メタデータ) (2024-02-23T11:25:17Z) - Unveiling the Secrets of Engaging Conversations: Factors that Keep Users
Hooked on Role-Playing Dialog Agents [17.791787477586574]
ボットが果たす役割を具現化する程度は保持率に限られた影響を与え、各ターンの長さは保持率に大きく影響する。
本研究は,ロールプレイングモデルによるユーザエンゲージメントの重要な側面を明らかにし,ロールプレイング目的の大規模言語モデルの開発において,今後の改善に向けた貴重な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-18T09:42:41Z) - LLM Agents in Interaction: Measuring Personality Consistency and
Linguistic Alignment in Interacting Populations of Large Language Models [4.706971067968811]
簡単な変数誘導サンプリングアルゴリズムを用いて,大規模言語モデル (LLM) エージェントの2群集団を作成する。
人格検査を行ない、共同作業にエージェントを提出し、異なるプロファイルが会話相手に対して異なるレベルの人格整合性および言語的整合性を示すことを確認する。
論文 参考訳(メタデータ) (2024-02-05T11:05:20Z) - Large Language Models are Superpositions of All Characters: Attaining
Arbitrary Role-play via Self-Alignment [62.898963074989766]
本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。
この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。
本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
論文 参考訳(メタデータ) (2024-01-23T03:56:22Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。
エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。
GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
論文 参考訳(メタデータ) (2023-10-18T02:27:01Z) - Better Zero-Shot Reasoning with Role-Play Prompting [10.90357246745529]
ロールプレイプロンプトは、ほとんどのデータセットで標準のゼロショットアプローチを一貫して上回っている。
これは、大きな言語モデルの推論能力を増強する可能性を強調している。
論文 参考訳(メタデータ) (2023-08-15T11:08:30Z) - Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via
Role Interactions [50.84439853121438]
本稿では,役割指向対話要約のための新しい役割相互作用強化手法を提案する。
クロスアテンションとデコーダのセルフアテンションインタラクションを採用し、他のロールのクリティカル情報を対話的に取得する。
提案手法は,2つの公開ロール指向対話要約データセットにおいて,強いベースラインを著しく上回る。
論文 参考訳(メタデータ) (2022-05-26T06:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。