論文の概要: Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems

• arxiv url: http://arxiv.org/abs/2411.16160v1
• Date: Mon, 25 Nov 2024 07:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:03.629025
• Title: Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems
• Title（参考訳）: ゲーミングゲームをやめて! 対話型レコメンダシステム評価のためのターゲットフリーユーザシミュレーション
• Authors: Sunghwan Kim, Tongyoung Kim, Kwangwook Seo, Jinyoung Yeo, Dongha Lee,
• Abstract要約: PEPPERは、実際のユーザインタラクション履歴とレビューから構築された、ターゲットフリーなユーザシミュレータによる評価プロトコルである。 PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。 PEPPERは、CRSの嗜好誘発能力を包括的に評価するための詳細な尺度を提示する。
• 参考スコア（独自算出の注目度）: 15.481944998961847
• License:
• Abstract: Recent approaches in Conversational Recommender Systems (CRSs) have tried to simulate real-world users engaging in conversations with CRSs to create more realistic testing environments that reflect the complexity of human-agent dialogue. Despite the significant advancements, reliably evaluating the capability of CRSs to elicit user preferences still faces a significant challenge. Existing evaluation metrics often rely on target-biased user simulators that assume users have predefined preferences, leading to interactions that devolve into simplistic guessing game. These simulators typically guide the CRS toward specific target items based on fixed attributes, limiting the dynamic exploration of user preferences and struggling to capture the evolving nature of real-user interactions. Additionally, current evaluation metrics are predominantly focused on single-turn recall of target items, neglecting the intermediate processes of preference elicitation. To address this, we introduce PEPPER, a novel CRS evaluation protocol with target-free user simulators constructed from real-user interaction histories and reviews. PEPPER enables realistic user-CRS dialogues without falling into simplistic guessing games, allowing users to gradually discover their preferences through enriched interactions, thereby providing a more accurate and reliable assessment of the CRS's ability to elicit personal preferences. Furthermore, PEPPER presents detailed measures for comprehensively evaluating the preference elicitation capabilities of CRSs, encompassing both quantitative and qualitative measures that capture four distinct aspects of the preference elicitation process. Through extensive experiments, we demonstrate the validity of PEPPER as a simulation environment and conduct a thorough analysis of how effectively existing CRSs perform in preference elicitation and recommendation.
• Abstract（参考訳）: 近年のCRS(Conversational Recommender Systems)のアプローチは、CRSと対話する現実世界のユーザをシミュレートして、人間とエージェントの対話の複雑さを反映したより現実的なテスト環境を構築しようとしている。 大幅な進歩にもかかわらず、CRSがユーザの好みを引き出す能力を確実に評価することは、依然として大きな課題に直面している。 既存の評価指標は、ユーザーが予め定義された好みを持っていると仮定するターゲットバイアスのあるユーザーシミュレータに頼り、単純な推測ゲームに発展するインタラクションにつながることが多い。 これらのシミュレータは通常、CRSを一定の属性に基づいて特定のターゲット項目へ誘導し、ユーザの好みの動的探索を制限し、実際のユーザインタラクションの進化する性質を捉えるのに苦労する。 さらに、現在の評価指標は、嗜好の中間過程を無視して、ターゲット項目の単一ターンリコールに主に焦点を合わせている。 そこで本研究では,実際のユーザインタラクション履歴とレビューから構築したターゲットフリーユーザシミュレータを用いた新しいCRS評価プロトコルであるPEPPERを紹介する。 PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。 さらに, PEPPERは, CRSの選好選好能力を評価するための詳細な尺度を提示し, 選好選好選好過程の4つの異なる側面を捉える定量的および質的な尺度を包含する。 本研究では,シミュレーション環境としてのPEPPERの有効性を実証し,既存のCRSがいかに効果的に選好や推薦を行うかを徹底的に分析する。

関連論文リスト

• Towards Empathetic Conversational Recommender Systems [77.53167131692]
  本稿では,共感型会話レコメンデータ(ECR)フレームワークを提案する。 ECRには、感情対応アイテムレコメンデーションと感情対応応答生成という、2つの主要なモジュールが含まれている。 ReDialデータセットの実験は、推奨精度を高め、ユーザの満足度を向上させる上で、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-08-30T15:43:07Z)
• Reformulating Conversational Recommender Systems as Tri-Phase Offline Policy Learning [5.453444582931813]
  Tri-Phase Offline Policy Learning-based Conversational Recommender System (TCRS) 本稿では,Tri-Phase Offline Policy Learning-based Conversational Recommender System (TCRS)を紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:58:29Z)
• A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recommender Systems [14.646529557978512]
  Conversational Recommender System (CRS) はユーザからのリアルタイムフィードバックを利用して好みを動的にモデル化する。 LLM(Large Language Models)は、計算能力の新たな時代を迎えている。 ユーザシミュレータの動作を管理するCSHI(Controlable, scalable, and human-Involved)シミュレータフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-13T03:02:56Z)
• How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation [14.646529557978512]
  本稿では,対話型レコメンダシステムのためのユーザシミュレータ構築におけるLarge Language Modelsの使用制限について分析する。 会話履歴やユーザシミュレータの応答で発生するデータ漏洩は,評価結果を膨らませる結果となる。 そこで我々はSimpleUserSimを提案する。
  論文  参考訳（メタデータ） (2024-03-25T04:21:06Z)
• A Conversation is Worth A Thousand Recommendations: A Survey of Holistic Conversational Recommender Systems [54.78815548652424]
  会話レコメンデータシステムは対話的なプロセスを通じてレコメンデーションを生成する。 すべてのCRSアプローチが、インタラクションデータのソースとして人間の会話を使用するわけではない。 全体論的CRSは、現実世界のシナリオから収集された会話データを使って訓練される。
  論文  参考訳（メタデータ） (2023-09-14T12:55:23Z)
• Improving Conversational Recommendation Systems via Counterfactual Data Simulation [73.4526400381668]
  会話推薦システム(CRS)は、自然言語による会話を通じてレコメンデーションサービスを提供することを目的としている。 既存のCRSアプローチは、トレーニングデータの不足により、トレーニングの不十分な問題に悩まされることが多い。 我々は,CRSにおけるデータ不足の問題を緩和するため,CFCRSと呼ばれるCRSに対するCounterFactualデータシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T12:48:56Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Leveraging Historical Interaction Data for Improving Conversational Recommender System [105.90963882850265]
  アイテムと属性に基づく嗜好シーケンスを統合するための,新しい事前学習手法を提案する。 実世界の2つのデータセットの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-19T03:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。