論文の概要: Prompt Framework for Role-playing: Generation and Evaluation

• arxiv url: http://arxiv.org/abs/2406.00627v1
• Date: Sun, 2 Jun 2024 06:09:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 04:06:06.998828
• Title: Prompt Framework for Role-playing: Generation and Evaluation
• Title（参考訳）: Prompt Framework for Role-playing: Generation and Evaluation
• Authors: Xun Liu, Zhengwei Ni,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語の生成、ユーザ・インストラクションの理解、人間の言語使用の模倣において顕著な能力を示した。 本稿では,SOTA(State-of-the-art LLM)を利用して,ロールプレイング対話データセットを構築し,ロールプレイング性能を評価するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.2845546753303867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLM) have demonstrated remarkable abilities in generating natural language, understanding user instruction, and mimicking human language use. These capabilities have garnered considerable interest in applications such as role-playing. However, the process of collecting individual role scripts (or profiles) data and manually evaluating the performance can be costly. We introduce a framework that uses prompts to leverage the state-of-the-art (SOTA) LLMs to construct role-playing dialogue datasets and evaluate the role-playing performance. Additionally, we employ recall-oriented evaluation Rouge-L metric to support the result of the LLM evaluator.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語の生成、ユーザ指導の理解、および人間の言語使用の模倣において顕著な能力を示した。 これらの機能はロールプレイングのようなアプリケーションにかなりの関心を寄せている。 しかし、個々のロールスクリプト(またはプロファイル)データを収集し、手動でパフォーマンスを評価するプロセスはコストがかかる。 本稿では,SOTA(State-of-the-art LLM)を利用して,ロールプレイング対話データセットを構築し,ロールプレイング性能を評価するフレームワークを提案する。 さらに、LLM評価器の結果を支援するために、リコール指向評価ルージュ-Lメトリクスを用いる。

関連論文リスト

• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs [12.615896145500393]
  自己プロンプトチューニングされたLLMは、任意の質問に対して専門家の役割プロンプトを自動的に生成することができる。 我々は、広く使われているNLPベンチマークとオープンエンド質問テストに基づいて、自己プロンプト調整LPMを広範囲に評価した。
  論文  参考訳（メタデータ） (2024-07-12T05:26:24Z)
• Capturing Minds, Not Just Words: Enhancing Role-Playing Language Models with Personality-Indicative Data [58.92110996840019]
  本稿では、パーソナリティを指標としたデータを用いて、ロールプレイング言語モデル(RPLM)を強化することを提案する。 具体的には、心理学的尺度からの質問を活用し、高度なRPAを蒸留し、文字の心を把握した対話を生成する。 実験により,本データセットを用いてトレーニングしたRPLMは,一般人格関連評価と人格関連評価の両面において,高度なロールプレイング能力を示した。
  論文  参考訳（メタデータ） (2024-06-27T06:24:00Z)
• Evaluating Character Understanding of Large Language Models via Character Profiling from Fictional Works [33.817319226631426]
  大規模言語モデル(LLM)は印象的なパフォーマンスを示し、多くのAIアプリケーションに拍車をかけた。 これらのRPAの前提条件は、LLMが架空の作品からキャラクターを理解する能力にある。 これまでの努力は、基本的な分類タスクや特徴的模倣を通じて、この機能を評価してきた。
  論文  参考訳（メタデータ） (2024-04-19T09:10:29Z)
• Self-Retrieval: Building an Information Retrieval System with One Large Language Model [102.78988790457004]
  Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。 本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• Enhancing Role-playing Systems through Aggressive Queries: Evaluation and Improvement [17.5855800570993]
  大言語モデル(LLM)は、特にロールプレイングシステム(RPS)分野において、対話生成を新しい領域に推進している。 既存のLLMベースのRSSは、境界シナリオで複雑なクエリと閉じ込められたクエリを扱う場合、役割と整合するのに依然として苦労している。 本研究は,MORTISE (Modular Orchestrated Trap-setting Interaction SystEm) を設計し,ロールプレイングLLMの性能向上を図る。
  論文  参考訳（メタデータ） (2024-02-16T12:12:05Z)
• Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment [62.898963074989766]
  本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。 この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。 本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
  論文  参考訳（メタデータ） (2024-01-23T03:56:22Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models [107.00832724504752]
  大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。 Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
  論文  参考訳（メタデータ） (2023-10-01T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。