論文の概要: Limitations of Current Evaluation Practices for Conversational Recommender Systems and the Potential of User Simulation

• arxiv url: http://arxiv.org/abs/2510.05624v1
• Date: Tue, 07 Oct 2025 07:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.136001
• Title: Limitations of Current Evaluation Practices for Conversational Recommender Systems and the Potential of User Simulation
• Title（参考訳）: 対話型レコメンダシステムにおける現状評価の限界とユーザシミュレーションの可能性
• Authors: Nolwenn Bernard, Krisztian Balog,
• Abstract要約: 本稿では,会話レコメンデーションシステム(CRS)の現在の評価実践について批判的に検討する。 静的テストコレクションへの過度な依存と,既存の評価指標の不十分という,2つの重要な制限を特定します。 本稿では,実際のユーザ満足度に適合するように設計された,一般的な報酬/コストフレームワークに基づく新しい評価指標を提案する。
• 参考スコア（独自算出の注目度）: 19.14733504795247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research and development on conversational recommender systems (CRSs) critically depends on sound and reliable evaluation methodologies. However, the interactive nature of these systems poses significant challenges for automatic evaluation. This paper critically examines current evaluation practices and identifies two key limitations: the over-reliance on static test collections and the inadequacy of existing evaluation metrics. To substantiate this critique, we analyze real user interactions with nine existing CRSs and demonstrate a striking disconnect between self-reported user satisfaction and performance scores reported in prior literature. To address these limitations, this work explores the potential of user simulation to generate dynamic interaction data, offering a departure from static datasets. Furthermore, we propose novel evaluation metrics, based on a general reward/cost framework, designed to better align with real user satisfaction. Our analysis of different simulation approaches provides valuable insights into their effectiveness and reveals promising initial results, showing improved correlation with system rankings compared to human evaluation. While these findings indicate a significant step forward in CRS evaluation, we also identify areas for future research and refinement in both simulation techniques and evaluation metrics.
• Abstract（参考訳）: 会話レコメンデーションシステム(CRS)の研究と開発は、健全で信頼性の高い評価手法に依存している。 しかし、これらのシステムのインタラクティブな性質は、自動評価に重大な課題をもたらす。 本稿では,現在の評価手法を批判的に検討し,静的なテストコレクションへの過度な依存と,既存の評価指標の不十分さという2つの重要な限界を指摘した。 この批判を裏付けるために、我々は既存の9つのCRSとの実際のユーザインタラクションを分析し、自己報告されたユーザの満足度と過去の文献で報告されたパフォーマンススコアとの間に顕著な不一致を示す。 これらの制限に対処するため、この研究はユーザーシミュレーションが動的相互作用データを生成する可能性を探求し、静的データセットから逸脱する。 さらに,実際のユーザ満足度に適合するように設計された,一般的な報酬/コストフレームワークに基づく新しい評価指標を提案する。 シミュレーション手法の違いを解析した結果,評価結果に有意な知見が得られ,システムランキングと人的評価との相関性が改善された。 これらの結果はCRS評価において大きな進歩を示しているが、シミュレーション技術と評価指標の両方における今後の研究と改善の分野も明らかにしている。

関連論文リスト

• CPO: Addressing Reward Ambiguity in Role-playing Dialogue via Comparative Policy Optimization [53.79487826635141]
  RLFT(Reinforcement Learning Fine-Tuning)は、客観的に検証された回答を持つタスクにおいて顕著な成功を収めた。 しかし、ロールプレイング・ダイアログのようなオープンな主観的なタスクに苦しむ。 独立したサンプル単位のスコアリングに依存する従来の報酬モデリングアプローチでは、主観的評価基準と不安定な報酬信号という2つの課題に直面している。 人間の評価は、明示的な基準と暗黙的な比較判断を本質的に組み合わせているという知見に触発され、比較政策最適化を提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:49:18Z)
• Towards Robust Offline Evaluation: A Causal and Information Theoretic Framework for Debiasing Ranking Systems [6.540293515339111]
  検索レベルシステムのオフライン評価は、高性能なモデルの開発に不可欠である。 本稿では,検索グレードシステムのオフライン評価を行うための新しいフレームワークを提案する。 本研究は,(1)オフライン評価バイアスに対処するための因果関係の定式化,(2)システムに依存しない脱バイアスフレームワーク,(3)有効性の実証的検証を含む。
  論文  参考訳（メタデータ） (2025-04-04T23:52:57Z)
• Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems [21.275452863162936]
  PEPPERは、実際のユーザインタラクション履歴とレビューから構築された、ターゲットフリーなユーザシミュレータによる評価プロトコルである。 PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。 PEPPERは、CRSの嗜好誘発能力を包括的に評価するための詳細な尺度を提示する。
  論文  参考訳（メタデータ） (2024-11-25T07:36:20Z)
• Pessimistic Evaluation [58.736490198613154]
  情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。 我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
  論文  参考訳（メタデータ） (2024-10-17T15:40:09Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions [48.91284724066349]
  強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。 信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。 我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-10T00:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。