論文の概要: Role-Playing Evaluation for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.13157v1
• Date: Mon, 19 May 2025 14:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.647593
• Title: Role-Playing Evaluation for Large Language Models
• Title（参考訳）: 大規模言語モデルのロールプレイング評価
• Authors: Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter,
• Abstract要約: Role-Playing Eval (RPEval)は、大規模言語モデルのロールプレイング能力を評価するために設計された新しいベンチマークである。 本稿では, RPEvalの構築について詳述し, ベースライン評価について述べる。
• 参考スコア（独自算出の注目度）: 0.4999814847776098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ペルソナを採用し、ロールプレイングに従事する上で、顕著な能力を示している。 しかし、人的評価は資源集約的であり、自動評価にはバイアスがかかるため、この能力を評価することは重大な課題となる。 RPEvalは、感情的理解、意思決定、モラルアライメント、キャラクタ内整合性という4つの重要な側面にまたがるLLMロールプレイング能力を評価するために設計された新しいベンチマークである。 本稿では, RPEvalの構築について詳述し, ベースライン評価について述べる。 私たちのコードとデータセットはhttps://github.com/yelboudouri/RPEvalで公開されています。

関連論文リスト

• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• Role-playing Prompt Framework: Generation and Evaluation [3.2845546753303867]
  大規模言語モデル(LLM)は、自然言語生成、ユーザ命令の理解、人間に似た言語使用のエミュレートにおいて、優れた習熟度を示す。 本稿では、ロールプレイング対話データセットの生成にGPTの機能を活用するために設計されたプロンプトベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:09:56Z)
• CriticEval: Evaluating Large Language Model as Critic [110.29766259843453]
  CriticEvalは、大規模言語モデルの批判能力を包括的かつ確実に評価するように設計された、新しいベンチマークである。 包括性を確保するため、CriticalEvalは9つの異なるタスクシナリオの4次元から批判能力を評価する。 信頼性を確保するため、多数の批判が注釈付けされ、参照として機能する。
  論文  参考訳（メタデータ） (2024-02-21T12:38:59Z)
• Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment [62.898963074989766]
  本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。 この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。 本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
  論文  参考訳（メタデータ） (2024-01-23T03:56:22Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。