論文の概要: Personalized Turn-Level User Conversation Satisfaction Benchmark

• arxiv url: http://arxiv.org/abs/2605.29711v1
• Date: Thu, 28 May 2026 10:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.172223
• Title: Personalized Turn-Level User Conversation Satisfaction Benchmark
• Title（参考訳）: パーソナライズされたターンレベルユーザ会話満足度ベンチマーク
• Authors: Zhefan Wang, Zhiqiang Guo, Weizhi Ma, Min Zhang, Quanjia Yan, Hengliang Luo,
• Abstract要約: 我々は,コンパクトなユーザメモリとターゲットターンコンテキストを組み合わせた会話満足度評価器を構築した。 PersTurnBenchはターンレベルのユーザ会話満足度ベンチマークで、検証された評価器を使用して、再生による生成モデルの評価を行う。
• 参考スコア（独自算出の注目度）: 23.743325765450734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User satisfaction with AI assistants is highly personalized: the same response may satisfy one user but disappoint another depending on what each user expects and what they have asked for before. Existing automatic evaluation methods mostly measure generic response quality, making it difficult to judge whether a response satisfies a user at a specific turn. We study this problem as personalized turn-level user conversation satisfaction evaluation. We build a conversation satisfaction evaluator that combines compact user memories with target-turn context to produce satisfaction scores and dissatisfaction-oriented rationales. Meta-evaluation against human satisfaction annotations shows that personalized memory and post-hoc score calibration improve ordinal agreement and dissatisfied-turn detection over supervised, retrieval-based, and generic LLM-as-a-judge baselines. We further introduce PersTurnBench, a personalized turn-level user conversation satisfaction benchmark that uses the verified evaluator to assess generation models via replay. By holding the replay state fixed, PersTurnBench enables controlled comparison of generic generation models and memory-augmented personalized systems without new human labels for every candidate model. The evaluator and benchmark let researchers compare candidate generation models on personalized satisfaction without collecting new user feedback for every model.
• Abstract（参考訳）: AIアシスタントによるユーザ満足度は、非常にパーソナライズされている。同じ回答は、あるユーザを満足させるかもしれないが、各ユーザが期待するものと、これまで要求していたものに応じて、別のユーザを失望させる。 既存の自動評価手法は主に汎用応答の質を測定しており、応答が特定のターンでユーザを満足させるかどうかを判断することは困難である。 本研究では,この問題をターンレベルのユーザ会話満足度評価として検討する。 我々は、コンパクトなユーザ記憶とターゲットターンコンテキストを組み合わせた会話満足度評価器を構築し、満足度スコアと不満指向の有理性を生成する。 ヒトの満足度アノテーションに対するメタ評価は、パーソナライズされたメモリとポストホックスコアのキャリブレーションが、教師付き、検索ベース、ジェネリックLLM-as-a-judgeベースライン上での規則的合意と不満足なターン検出を改善することを示している。 さらに、検証された評価器を用いて再生による生成モデルの評価を行う、パーソナライズされたターンレベルのユーザ会話満足度ベンチマークであるPersTurnBenchを紹介する。 リプレイ状態を固定することで、PersTurnBenchは、ジェネリックジェネレーションモデルとメモリ拡張パーソナライズされたパーソナライズされたシステムの制御された比較を可能にする。 評価とベンチマークにより、研究者は各モデルに対する新しいユーザーフィードバックを集めることなく、パーソナライズされた満足度に基づいて候補生成モデルを比較することができる。

関連論文リスト

• P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling [66.55381105691818]
  P-GenRM(Personalized Generative Reward Model)を提案する。 P-GenRMは、選好信号を適応的なペルソナとスコアリングルーリックを導出する構造化評価チェーンに変換する。 さらにユーザをユーザプロトタイプにクラスタリングし、二重粒度スケーリングメカニズムを導入している。
  論文  参考訳（メタデータ） (2026-02-12T16:07:22Z)
• Improving User Experience with Personalized Review Ranking and Summarization [0.0]
  本研究は、レビューランキングと抽象要約を統合し、意思決定効率を向上させるためのパーソナライズされたフレームワークを提案する。 70名を対象に行ったユーザスタディでは、パーソナライズされたアプローチが満足度、妥当性、意思決定の信頼性を改善した。
  論文  参考訳（メタデータ） (2025-10-28T13:16:28Z)
• PREFINE: Personalized Story Generation via Simulated User Critics and User-Specific Rubric Generation [2.8324853634693614]
  PreFINEは、Crytique-and-Refineパラダイムをパーソナライズに拡張する新しいフレームワークである。 PreFINEは、ユーザのインタラクション履歴から擬似ユーザエージェントを構築し、ユーザ固有のルーリックを生成する。 本手法は,対話システムや教育,レコメンデーションなどの幅広い応用において,効率的なパーソナライズを可能にする可能性を持っている。
  論文  参考訳（メタデータ） (2025-09-16T16:39:40Z)
• PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization [25.45861816665351]
  我々は、パーソナライズされた応答を提供するLLMの能力を直接評価する新しいベンチマークであるPersonaFeedbackを紹介する。 過去のインタラクションから暗黙のユーザペルソナを推論するモデルを必要とする既存のベンチマークとは異なり、PersonaFeedbackはパーソナライゼーションからペルソナ推論を分離する。 PersonaFeedbackは8298人の注釈付きテストケースで構成されており、簡単、中、硬い層に分類される。
  論文  参考訳（メタデータ） (2025-06-15T17:19:19Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。