論文の概要: Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation

• arxiv url: http://arxiv.org/abs/2607.27816v2
• Date: Fri, 31 Jul 2026 02:46:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.330134
• Title: Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation
• Title（参考訳）: ラベル付き歴史を超えて:対話型ロールプレイング評価のための個人指向ユーザシミュレーション
• Abstract要約: ロールプレイングエージェント (RPAs) は、大規模言語モデルにおいて最も重要な消費者アプリケーションの一つとなっている。 既存のベンチマークでは、RPAは、固定された対話履歴を継続し、ユーザから切り離された固定されたルーリックを使用して継続を評価する必要がある。 ユーザシミュレータ上に構築されたスケーラブルなRPAベンチマークであるPALATEを紹介する。
• 参考スコア（独自算出の注目度）: 45.19034537358224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Role-playing agents (RPAs) have become one of the most important consumer applications of large language models. Users engage in multi-turn conversations with RPAs for experiences such as emotional comfort, making reliable evaluation essential for measuring capability, comparing systems, and guiding further improvement. Existing benchmarks, however, typically require an RPA to continue a fixed dialogue history and then evaluate the continuation using a fixed rubric detached from the user. We identify and empirically demonstrate two limitations of this design. First, an RPA's output is shaped by the preceding dialogue history, preventing a scientifically grounded assessment of its role-playing ability in real multi-turn settings. Second, user experience varies substantially across individuals, and conventional fixed rubrics need not align with user satisfaction. We therefore introduce PALATE (Person-Aligned LLM-Simulated-User Assessment with Tailored Evaluation), a scalable RPA benchmark built on user simulators. PALATE is accompanied by a pool of 300 character profiles. Its main evaluation trains five per-user simulators and lets them engage candidate RPAs in free-form, multi-turn conversations over a pre-frozen panel of character profiles. Alongside a general quality rubric, we construct personalized rubrics to measure user satisfaction; on held-out annotated data, the personalized rubrics show higher agreement with human judgments than the general rubric. In the main evaluation of 16 candidates, PALATE separately characterizes generic turn quality, long-horizon session capability, and per-user experience on multi-turn trajectories co-constructed by each candidate. It thereby produces interpretable evaluations of specific user-RPA pairs rather than compressing systems into a single user-independent ranking.
• Abstract（参考訳）: ロールプレイングエージェント (RPAs) は、大規模言語モデルにおいて最も重要な消費者アプリケーションの一つとなっている。 ユーザは、感情的な快適さ、測定能力、システムの比較、さらなる改善の導出に不可欠な信頼性評価など、RPAとのマルチターン会話に従事している。 しかし、既存のベンチマークでは、通常、RPAは、固定された対話履歴を継続し、ユーザから切り離された固定されたルーリックを使用して継続を評価する必要がある。 この設計の2つの限界を特定し、実証的に示す。 第一に、RPAの出力は前回の対話履歴によって形成され、実マルチターン設定におけるロールプレイング能力の科学的根拠による評価が防止される。 第二に、ユーザエクスペリエンスは個人によって大きく異なり、従来の固定ルーブリックはユーザの満足度に合わせてはならない。 PALATE(Person-Aligned LLM-Simulated-User Assessment with Tailored Evaluation)は,ユーザシミュレータ上に構築されたスケーラブルなRPAベンチマークである。 PALATEには300文字のプロファイルがある。 その主な評価では、ユーザー1人当たりのシミュレーター5台を訓練し、フリーフォームで複数ターンの会話を、事前に凍結したキャラクタープロフィールのパネル上で行う。 一般的な品質のルーブリックと並んで,ユーザ満足度を測定するためにパーソナライズされたルーブリックを構築する。 16の候補の主評価において、PALATEは、各候補が共同構築したマルチターントラジェクトリにおいて、汎用的なターン品質、長期セッション能力、ユーザ毎の経験を別々に特徴付ける。 これにより、システムを1つのユーザ非依存のランキングに圧縮するのではなく、特定のユーザ-RPAペアの解釈可能な評価を生成する。

関連論文リスト

• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• PRISM-X: Experiments on Personalised Fine-Tuning with Human and Simulated Users [14.768125931006798]
  パーソナライズ手法の有効性は、実際の人ではなくシミュレーションユーザーを用いて学術研究で評価されることが多い。 これにより、ユーザとそのシミュレートされた相手が、インタラクションパターンや判断においてどのように異なるかという疑問が提起される。
  論文  参考訳（メタデータ） (2026-05-13T10:21:14Z)
• HumanLM: Simulating Users with State Alignment Beats Response Imitation [84.89761487596844]
  本稿では,実際のユーザを正確に反映したユーザシミュレータを構築する新しいトレーニングフレームワークHumanLMを提案する。 HumanLMは、強化学習を通じて、地道的な応答に一致した自然言語の潜伏状態を生成する。 本研究では,公開データに基づく実ユーザシミュレーションのための総合的なベンチマークであるHumanualを開発する。
  論文  参考訳（メタデータ） (2026-02-07T20:26:28Z)
• Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions [11.415343473837583]
  パーソナ指定の大規模言語モデル(LLM)は、教育、医療、社会デマグラフィーシミュレーションなどの領域で使用されている。 本研究では,長期の対話と評価データセットを組み合わせた評価プロトコルを導入し,対話条件付きベンチマークを作成する。 対話の過程でペルソナの忠実度は低下し,特に目標志向の会話では低下することがわかった。
  論文  参考訳（メタデータ） (2025-12-14T17:27:02Z)
• HumAIne-Chatbot: Real-Time Personalized Conversational AI via Reinforcement Learning [0.4931504898146351]
  textbfHumAIne-chatbotはAIによる会話エージェントで、新しいユーザプロファイリングフレームワークを通じて応答をパーソナライズする。 ライブインタラクションの間、オンライン強化学習エージェントは暗黙の信号を組み合わせることで、ユーザ毎のモデルを洗練する。 その結果、パーソナライズ機能を有効にすると、ユーザ満足度、パーソナライズ精度、タスク達成度が一貫した改善が見られた。
  論文  参考訳（メタデータ） (2025-09-04T15:16:38Z)
• RMTBench: Benchmarking LLMs Through Multi-Turn User-Centric Role-Playing [133.0641538589466]
  RMTBenchは、80の多様な文字と8000以上の対話ラウンドを特徴とする、総合的なテキストバプサー中心のバイリンガルロールプレイングベンチマークである。 本ベンチマークでは,文字記述よりも明示的なユーザモチベーションに基づく対話を構築し,実用的なユーザアプリケーションとの整合性を確保する。 RMTBenchは、キャラクタバックグラウンドからユーザ意図のフルフィルメントにフォーカスを移すことで、学術的な評価と実践的なデプロイメント要件のギャップを埋める。
  論文  参考訳（メタデータ） (2025-07-27T16:49:47Z)
• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
  我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。 USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-02-26T09:26:54Z)
• Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems [21.275452863162936]
  PEPPERは、実際のユーザインタラクション履歴とレビューから構築された、ターゲットフリーなユーザシミュレータによる評価プロトコルである。 PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。 PEPPERは、CRSの嗜好誘発能力を包括的に評価するための詳細な尺度を提示する。
  論文  参考訳（メタデータ） (2024-11-25T07:36:20Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)
• A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation [52.743311026230714]
  Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。 PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。 提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-06T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。