Fugu-MT 論文翻訳(概要): Role-Playing Evaluation for Large Language Models

論文の概要: Role-Playing Evaluation for Large Language Models

arxiv url: http://arxiv.org/abs/2505.13157v1
Date: Mon, 19 May 2025 14:18:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:11.647593
Title: Role-Playing Evaluation for Large Language Models
Title（参考訳）: 大規模言語モデルのロールプレイング評価
Authors: Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter,
Abstract要約: Role-Playing Eval (RPEval)は、大規模言語モデルのロールプレイング能力を評価するために設計された新しいベンチマークである。本稿では, RPEvalの構築について詳述し, ベースライン評価について述べる。
参考スコア（独自算出の注目度）: 0.4999814847776098
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval
Abstract（参考訳）: 大きな言語モデル(LLM)は、ペルソナを採用し、ロールプレイングに従事する上で、顕著な能力を示している。しかし、人的評価は資源集約的であり、自動評価にはバイアスがかかるため、この能力を評価することは重大な課題となる。 RPEvalは、感情的理解、意思決定、モラルアライメント、キャラクタ内整合性という4つの重要な側面にまたがるLLMロールプレイング能力を評価するために設計された新しいベンチマークである。本稿では, RPEvalの構築について詳述し, ベースライン評価について述べる。私たちのコードとデータセットはhttps://github.com/yelboudouri/RPEvalで公開されています。

関連論文リスト

RMTBench: Benchmarking LLMs Through Multi-Turn User-Centric Role-Playing [111.06936588273868]
RMTBenchは、80の多様な文字と8000以上の対話ラウンドを特徴とする、総合的なテキストバプサー中心のバイリンガルロールプレイングベンチマークである。本ベンチマークでは,文字記述よりも明示的なユーザモチベーションに基づく対話を構築し,実用的なユーザアプリケーションとの整合性を確保する。 RMTBenchは、キャラクタバックグラウンドからユーザ意図のフルフィルメントにフォーカスを移すことで、学術的な評価と実践的なデプロイメント要件のギャップを埋める。
論文参考訳（メタデータ） (2025-07-27T16:49:47Z)
Can Large Language Models Serve as Evaluators for Code Summarization? [47.21347974031545]
LLM(Large Language Models)は、コード要約手法の効果的な評価手法である。 LLMはエージェントに、コードレビュアー、コード作者、コードエディタ、システムアナリストなどの様々な役割を演じるよう促す。 CoDERPEは、人間の評価と81.59%のスピアマン相関を達成し、既存のBERTScoreの基準を17.27%上回った。
論文参考訳（メタデータ） (2024-12-02T09:56:18Z)
Optimizing the role of human evaluation in LLM-based spoken document summarization systems [0.0]
生成AIコンテンツに適した音声文書要約のための評価パラダイムを提案する。実験設計における堅牢性, 再現性, 信頼性を確保するために, 詳細な評価基準とベストプラクティスガイドラインを提供する。
論文参考訳（メタデータ） (2024-10-23T18:37:14Z)
LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
論文参考訳（メタデータ） (2024-06-26T14:56:13Z)
The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
論文参考訳（メタデータ） (2024-06-09T12:30:30Z)
Role-playing Prompt Framework: Generation and Evaluation [3.2845546753303867]
大規模言語モデル(LLM)は、自然言語生成、ユーザ命令の理解、人間に似た言語使用のエミュレートにおいて、優れた習熟度を示す。本稿では、ロールプレイング対話データセットの生成にGPTの機能を活用するために設計されたプロンプトベースのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-02T06:09:56Z)
CriticEval: Evaluating Large Language Model as Critic [110.29766259843453]
CriticEvalは、大規模言語モデルの批判能力を包括的かつ確実に評価するように設計された、新しいベンチマークである。包括性を確保するため、CriticalEvalは9つの異なるタスクシナリオの4次元から批判能力を評価する。信頼性を確保するため、多数の批判が注釈付けされ、参照として機能する。
論文参考訳（メタデータ） (2024-02-21T12:38:59Z)
Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment [62.898963074989766]
本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
論文参考訳（メタデータ） (2024-01-23T03:56:22Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。