論文の概要: InCharacter: Evaluating Personality Fidelity in Role-Playing Agents
through Psychological Interviews
- arxiv url: http://arxiv.org/abs/2310.17976v3
- Date: Sat, 17 Feb 2024 07:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 05:09:22.738600
- Title: InCharacter: Evaluating Personality Fidelity in Role-Playing Agents
through Psychological Interviews
- Title(参考訳): InCharacter:心理面接によるロールプレイングエージェントの個性評価
- Authors: Xintao Wang, Yunze Xiao, Jen-tse Huang, Siyu Yuan, Rui Xu, Haoran Guo,
Quan Tu, Yaying Fei, Ziang Leng, Wei Wang, Jiangjie Chen, Cheng Li, Yanghua
Xiao
- Abstract要約: 本稿では, RPAの性格的忠実度を心理的尺度で評価するための新しい視点を紹介する。
実験には様々な種類の RPA と LLM が含まれ、14の広く使用されている心理学的尺度で32の異なる文字をカバーしている。
InCharacterでは、現在最先端のRPAが人物の人格と高度に一致した個性を示し、80.7%の精度を達成している。
- 参考スコア(独自算出の注目度): 58.43874908985246
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Role-playing agents (RPAs), powered by large language models, have emerged as
a flourishing field of applications. However, a key challenge lies in assessing
whether RPAs accurately reproduce the personas of target characters, namely
their character fidelity. Existing methods mainly focus on the knowledge and
linguistic patterns of characters. This paper, instead, introduces a novel
perspective to evaluate the personality fidelity of RPAs with psychological
scales. Overcoming drawbacks of previous self-report assessments on RPAs, we
propose InCharacter, namely Interviewing Character agents for personality
tests. Experiments include various types of RPAs and LLMs, covering 32 distinct
characters on 14 widely used psychological scales. The results validate the
effectiveness of InCharacter in measuring RPA personalities. Then, with
InCharacter, we show that state-of-the-art RPAs exhibit personalities highly
aligned with the human-perceived personalities of the characters, achieving an
accuracy up to 80.7%. Our demo, code, dataset, and results are publicly
available at https://github.com/Neph0s/InCharacter.
- Abstract(参考訳): 大規模言語モデルによるロールプレイングエージェント(rpas)は、アプリケーションの繁栄分野として登場した。
しかし、重要な課題は、RPAがターゲットキャラクタのペルソナ、すなわちキャラクタの忠実さを正確に再現するかどうかを評価することである。
既存の手法は主に文字の知識と言語パターンに焦点を当てている。
本稿では,rpaの性格的忠実度を心理的尺度で評価するための新しい視点を提案する。
RPAに対する過去の自己報告評価の欠点を克服し、個性検査のためのインタビュリング・キャラクタ・エージェントであるInCharacterを提案する。
実験には様々な種類の RPA と LLM が含まれ、14の広く使用されている心理学的尺度で32の異なる文字をカバーしている。
RPAの個人性測定におけるInCharacterの有効性を検証した。
次に、InCharacterを用いて、現状のRPAは人物の人格と高度に一致した個性を示し、80.7%の精度を実現していることを示す。
デモ、コード、データセット、結果はhttps://github.com/neph0s/incharacter.com/で公開されている。
関連論文リスト
- Driving Generative Agents With Their Personality [0.0]
本研究では,ゲームキャラクタ開発における心理測定値,特にパーソナリティ情報を活用するためのLarge Language Models (LLMs) の可能性を探る。
この研究は、LLMが与えられたパーソナリティプロファイルを一貫して表現できることを示し、ゲームキャラクタの人間的な特性を高める。
論文 参考訳(メタデータ) (2024-02-21T21:29:57Z) - LLM Agents for Psychology: A Study on Gamified Assessments [71.08193163042107]
心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。
心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
論文 参考訳(メタデータ) (2024-02-19T18:00:30Z) - Can ChatGPT Read Who You Are? [9.694940903078656]
チェコ語で書かれたテキストを代表とする総合的なユーザスタディの結果を155人のサンプルで報告した。
本研究は,ChatGPTによる性格特性推定と人間による評価とを比較し,テキストから人格特性を推定する際のChatGPTの競争性能を報告する。
論文 参考訳(メタデータ) (2023-12-26T14:43:04Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。
本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
論文 参考訳(メタデータ) (2023-10-16T07:58:56Z) - Personality Understanding of Fictional Characters during Book Reading [81.68515671674301]
この問題に対する最初のラベル付きデータセットPersoNetを提示する。
当社の新たなアノテーション戦略では,オリジナル書籍のプロキシとして,オンライン読書アプリからユーザノートを注釈付けします。
実験と人間の研究は、データセットの構築が効率的かつ正確であることを示している。
論文 参考訳(メタデータ) (2023-05-17T12:19:11Z) - Identifying and Manipulating the Personality Traits of Language Models [9.213700601337383]
言語モデルにおける知覚的パーソナリティが、言語生成において一貫して現れるかどうかを検討する。
BERT や GPT2 のような言語モデルでは、異なる文脈におけるパーソナライズマーカーの識別と反映が一貫して可能であることを示す。
この振る舞いは、非常に予測可能な方法で操作できる能力を示し、それらを人格の特徴を特定し、ダイアログシステムのようなアプリケーションにおけるペルソナを制御するツールとしてフレーム化します。
論文 参考訳(メタデータ) (2022-12-20T14:24:11Z) - My tweets bring all the traits to the yard: Predicting personality and
relational traits in Online Social Networks [4.095574580512599]
本研究は,オンラインソーシャルネットワーク(OSN)における全体像プロファイルの予測モデルを提供することを目的とする。
我々はまずOSNアカウントから幅広い機能を抽出する機能エンジニアリング手法を考案した。
そして,抽出した特徴に基づいて,ユーザの心理的特徴のスコアを予測する機械学習モデルを設計した。
論文 参考訳(メタデータ) (2020-09-22T20:30:56Z) - Vyaktitv: A Multimodal Peer-to-Peer Hindi Conversations based Dataset
for Personality Assessment [50.15466026089435]
本稿では,ピアツーピアのHindi会話データセットであるVyaktitvを提案する。
参加者の高品質な音声とビデオの録音と、会話ごとにヒングリッシュのテキストによる書き起こしで構成されている。
データセットには、収入、文化的指向など、すべての参加者のための豊富な社会デコグラフィー的特徴が含まれています。
論文 参考訳(メタデータ) (2020-08-31T17:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。