論文の概要: On the Decision-Making Abilities in Role-Playing using Large Language
Models
- arxiv url: http://arxiv.org/abs/2402.18807v1
- Date: Thu, 29 Feb 2024 02:22:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 16:24:27.294138
- Title: On the Decision-Making Abilities in Role-Playing using Large Language
Models
- Title(参考訳): 大規模言語モデルを用いたロールプレイングにおける意思決定能力について
- Authors: Chenglei Shen and Guofu Xie and Xiao Zhang and Jun Xu
- Abstract要約: 大型言語モデル(LLM)はロールプレイングタスクにますます活用されている。
本稿では,LLMのポストロールプレイングにおける意思決定能力の評価に焦点をあてる。
- 参考スコア(独自算出の注目度): 6.550638804145713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are now increasingly utilized for role-playing
tasks, especially in impersonating domain-specific experts, primarily through
role-playing prompts. When interacting in real-world scenarios, the
decision-making abilities of a role significantly shape its behavioral
patterns. In this paper, we concentrate on evaluating the decision-making
abilities of LLMs post role-playing thereby validating the efficacy of
role-playing. Our goal is to provide metrics and guidance for enhancing the
decision-making abilities of LLMs in role-playing tasks. Specifically, we first
use LLMs to generate virtual role descriptions corresponding to the 16
personality types of Myers-Briggs Type Indicator (abbreviated as MBTI)
representing a segmentation of the population. Then we design specific
quantitative operations to evaluate the decision-making abilities of LLMs post
role-playing from four aspects: adaptability, exploration$\&$exploitation
trade-off ability, reasoning ability, and safety. Finally, we analyze the
association between the performance of decision-making and the corresponding
MBTI types through GPT-4. Extensive experiments demonstrate stable differences
in the four aspects of decision-making abilities across distinct roles,
signifying a robust correlation between decision-making abilities and the roles
emulated by LLMs. These results underscore that LLMs can effectively
impersonate varied roles while embodying their genuine sociological
characteristics.
- Abstract(参考訳): 大規模言語モデル(llm)は現在、ロールプレイングタスク、特にドメイン固有の専門家をまねるタスク、主にロールプレイングプロンプトにますます利用されている。
現実世界のシナリオで相互作用する場合、役割の意思決定能力はその行動パターンを著しく形作る。
本稿では,ロールプレイング後のLCMの意思決定能力を評価することに集中し,ロールプレイングの有効性を検証する。
我々のゴールは、ロールプレイングタスクにおけるLCMの意思決定能力を高めるためのメトリクスとガイダンスを提供することです。
具体的には、まずLLMを用いて、人口の区分を表す16種類のMers-Briggs Type Indicator(MBTI)に対応する仮想的な役割記述を生成する。
次に,ロールプレイング後のllmsの意思決定能力を評価するための具体的な定量的操作を,適応性,探索$\&$爆発トレードオフ能力,推論能力,安全性という4つの側面から設計する。
最後に,意思決定性能と対応するMBTIタイプとの関係をGPT-4を用いて解析する。
総合的な実験は、異なる役割における意思決定能力の4つの側面に安定した相違を示し、LCMによってエミュレートされた意思決定能力と役割との堅牢な相関を示す。
これらの結果から, LLMは, 本来の社会学的特徴を具現化しつつ, 様々な役割を効果的に体現できることが示唆された。
関連論文リスト
- Character is Destiny: Can Large Language Models Simulate Persona-Driven Decisions in Role-Playing? [59.0123596591807]
ペルソナ駆動意思決定における大規模言語モデルの能力のベンチマークを行う。
高品質な小説において, LLM が先行する物語の登場人物の判断を予測できるかどうかを考察する。
その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は十分にあることが示された。
論文 参考訳(メタデータ) (2024-04-18T12:40:59Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - RoleInteract: Evaluating the Social Interaction of Role-Playing Agents [85.6641890712617]
社会的相互作用の個人レベルとグループレベルの両方において、ロールプレイング・会話エージェントの社会的性を評価するために設計された最初のベンチマークを紹介する。
ベンチマークはさまざまなソースから構築され、500文字以上と6000以上の質問プロンプトをカバーする。
個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
論文 参考訳(メタデータ) (2024-03-20T15:38:36Z) - Determinants of LLM-assisted Decision-Making [0.0]
大規模言語モデル(LLM)は、人間の意思決定プロセスを強化するための多面的サポートを提供する。
本研究は,LCM支援による意思決定に影響を及ぼす決定因子の構造的概要と詳細な分析を提供する。
我々の発見は、人間とAIのコラボレーションにおける意思決定の質向上に不可欠であると見なすことができる。
論文 参考訳(メタデータ) (2024-02-27T10:24:50Z) - Large Language Models are Superpositions of All Characters: Attaining
Arbitrary Role-play via Self-Alignment [62.898963074989766]
本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。
この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。
本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
論文 参考訳(メタデータ) (2024-01-23T03:56:22Z) - RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models [107.00832724504752]
大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。
Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
論文 参考訳(メタデータ) (2023-10-01T17:52:59Z) - Intuitive or Dependent? Investigating LLMs' Behavior Style to
Conflicting Prompts [9.399159332152013]
本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。
これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
論文 参考訳(メタデータ) (2023-09-29T17:26:03Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。