論文の概要: On the Decision-Making Abilities in Role-Playing using Large Language Models

• arxiv url: http://arxiv.org/abs/2402.18807v1
• Date: Thu, 29 Feb 2024 02:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 16:24:27.294138
• Title: On the Decision-Making Abilities in Role-Playing using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたロールプレイングにおける意思決定能力について
• Authors: Chenglei Shen and Guofu Xie and Xiao Zhang and Jun Xu
• Abstract要約: 大型言語モデル(LLM)はロールプレイングタスクにますます活用されている。 本稿では,LLMのポストロールプレイングにおける意思決定能力の評価に焦点をあてる。
• 参考スコア（独自算出の注目度）: 6.550638804145713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are now increasingly utilized for role-playing tasks, especially in impersonating domain-specific experts, primarily through role-playing prompts. When interacting in real-world scenarios, the decision-making abilities of a role significantly shape its behavioral patterns. In this paper, we concentrate on evaluating the decision-making abilities of LLMs post role-playing thereby validating the efficacy of role-playing. Our goal is to provide metrics and guidance for enhancing the decision-making abilities of LLMs in role-playing tasks. Specifically, we first use LLMs to generate virtual role descriptions corresponding to the 16 personality types of Myers-Briggs Type Indicator (abbreviated as MBTI) representing a segmentation of the population. Then we design specific quantitative operations to evaluate the decision-making abilities of LLMs post role-playing from four aspects: adaptability, exploration$\&$exploitation trade-off ability, reasoning ability, and safety. Finally, we analyze the association between the performance of decision-making and the corresponding MBTI types through GPT-4. Extensive experiments demonstrate stable differences in the four aspects of decision-making abilities across distinct roles, signifying a robust correlation between decision-making abilities and the roles emulated by LLMs. These results underscore that LLMs can effectively impersonate varied roles while embodying their genuine sociological characteristics.
• Abstract（参考訳）: 大規模言語モデル(llm)は現在、ロールプレイングタスク、特にドメイン固有の専門家をまねるタスク、主にロールプレイングプロンプトにますます利用されている。 現実世界のシナリオで相互作用する場合、役割の意思決定能力はその行動パターンを著しく形作る。 本稿では,ロールプレイング後のLCMの意思決定能力を評価することに集中し,ロールプレイングの有効性を検証する。 我々のゴールは、ロールプレイングタスクにおけるLCMの意思決定能力を高めるためのメトリクスとガイダンスを提供することです。 具体的には、まずLLMを用いて、人口の区分を表す16種類のMers-Briggs Type Indicator(MBTI)に対応する仮想的な役割記述を生成する。 次に,ロールプレイング後のllmsの意思決定能力を評価するための具体的な定量的操作を,適応性,探索$\&$爆発トレードオフ能力,推論能力,安全性という4つの側面から設計する。 最後に,意思決定性能と対応するMBTIタイプとの関係をGPT-4を用いて解析する。 総合的な実験は、異なる役割における意思決定能力の4つの側面に安定した相違を示し、LCMによってエミュレートされた意思決定能力と役割との堅牢な相関を示す。 これらの結果から, LLMは, 本来の社会学的特徴を具現化しつつ, 様々な役割を効果的に体現できることが示唆された。

関連論文リスト

• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Bias and Toxicity in Role-Play Reasoning [6.868242720276291]
  LLM(Large Language Model)におけるロールプレイ(Role-play)は、モデルが特定の視点を採用することを可能にする重要なテクニックである。 ロールプレイは潜在的なリスクももたらします。
  論文  参考訳（メタデータ） (2024-09-21T02:09:13Z)
• Thinking Before Speaking: A Role-playing Model with Mindset [0.6428333375712125]
  大規模言語モデル(LLM)は人間の振る舞いをシミュレートする能力を持っている。 これらのモデルは、想定される役割が持たないという知識に直面すると、パフォーマンスが悪くなります。 本稿では,TBS(Thinking Before Talk)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-14T02:41:48Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Character is Destiny: Can Role-Playing Language Agents Make Persona-Driven Decisions? [59.0123596591807]
  我々は、ペルソナ駆動意思決定におけるLarge Language Models(LLM)の能力をベンチマークする。 高品質な小説において, LLM が先行する物語のキャラクターの判断を予測できるかどうかを検討する。 その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は残されている。
  論文  参考訳（メタデータ） (2024-04-18T12:40:59Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Determinants of LLM-assisted Decision-Making [0.0]
  大規模言語モデル(LLM)は、人間の意思決定プロセスを強化するための多面的サポートを提供する。 本研究は,LCM支援による意思決定に影響を及ぼす決定因子の構造的概要と詳細な分析を提供する。 我々の発見は、人間とAIのコラボレーションにおける意思決定の質向上に不可欠であると見なすことができる。
  論文  参考訳（メタデータ） (2024-02-27T10:24:50Z)
• Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment [62.898963074989766]
  本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。 この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。 本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
  論文  参考訳（メタデータ） (2024-01-23T03:56:22Z)
• RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models [107.00832724504752]
  大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。 Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
  論文  参考訳（メタデータ） (2023-10-01T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。