論文の概要: Concept -- An Evaluation Protocol on Conversational Recommender Systems with System-centric and User-centric Factors

• arxiv url: http://arxiv.org/abs/2404.03304v3
• Date: Mon, 6 May 2024 12:44:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 22:56:46.092259
• Title: Concept -- An Evaluation Protocol on Conversational Recommender Systems with System-centric and User-centric Factors
• Title（参考訳）: 概念 -- システム中心およびユーザ中心の要素を持つ対話型レコメンダシステムの評価プロトコル
• Authors: Chen Huang, Peixin Qin, Yang Deng, Wenqiang Lei, Jiancheng Lv, Tat-Seng Chua,
• Abstract要約: 本稿では,システムとユーザ中心の要素を統合した新しい包括的評価プロトコルであるConceptを提案する。 まず、現在のCRSモデルの長所と短所を概観する。 第二に、「全能」なChatGPTにおける低ユーザビリティの問題を特定し、CRSを評価するための包括的なリファレンスガイドを提供する。
• 参考スコア（独自算出の注目度）: 68.68418801681965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The conversational recommendation system (CRS) has been criticized regarding its user experience in real-world scenarios, despite recent significant progress achieved in academia. Existing evaluation protocols for CRS may prioritize system-centric factors such as effectiveness and fluency in conversation while neglecting user-centric aspects. Thus, we propose a new and inclusive evaluation protocol, Concept, which integrates both system- and user-centric factors. We conceptualise three key characteristics in representing such factors and further divide them into six primary abilities. To implement Concept, we adopt a LLM-based user simulator and evaluator with scoring rubrics that are tailored for each primary ability. Our protocol, Concept, serves a dual purpose. First, it provides an overview of the pros and cons in current CRS models. Second, it pinpoints the problem of low usability in the "omnipotent" ChatGPT and offers a comprehensive reference guide for evaluating CRS, thereby setting the foundation for CRS improvement.
• Abstract（参考訳）: 会話レコメンデーションシステム(CRS)は,近年の学界の進歩にもかかわらず,現実のシナリオにおけるユーザエクスペリエンスについて批判されている。 既存のCRSの評価プロトコルは、ユーザ中心の側面を無視しながら、会話の有効性や流布度などのシステム中心の要素を優先することができる。 そこで本研究では,システムとユーザ中心の要素を統合した新しい包括的評価プロトコルであるConceptを提案する。 我々はこれらの要因を表現する上で重要な3つの特徴を概念化し、それらをさらに6つの一次能力に分割する。 Conceptを実装するために,LLMベースのユーザシミュレータと評価器を採用し,各プライマリ能力に適合したブラスリックをスコアリングする。 私たちのプロトコルであるConceptは、二重目的に役立ちます。 まず、現在のCRSモデルの長所と短所の概要を提供する。 第二に、「全能」なChatGPTにおける低ユーザビリティの問題を特定し、CRSを評価するための包括的なリファレンスガイドを提供し、CRSの改善の基礎を定めている。

関連論文リスト

• Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems [15.481944998961847]
  PEPPERは、実際のユーザインタラクション履歴とレビューから構築された、ターゲットフリーなユーザシミュレータによる評価プロトコルである。 PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。 PEPPERは、CRSの嗜好誘発能力を包括的に評価するための詳細な尺度を提示する。
  論文  参考訳（メタデータ） (2024-11-25T07:36:20Z)
• Revisiting Reciprocal Recommender Systems: Metrics, Formulation, and Method [60.364834418531366]
  RRSの性能を包括的かつ正確に評価する5つの新しい評価指標を提案する。 因果的観点からRSを定式化し、二元的介入として勧告を定式化する。 提案手法では,結果の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T07:21:02Z)
• Navigating User Experience of ChatGPT-based Conversational Recommender Systems: The Effects of Prompt Guidance and Recommendation Domain [15.179413273734761]
  本研究では,プロンプトガイダンス(PG)とレコメンデーションドメイン(RD)がシステム全体のユーザエクスペリエンスに与える影響について検討する。 その結果,PGはシステムの説明可能性,適応性,使いやすさ,透明性を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T11:49:40Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Towards Explainable Conversational Recommender Systems [44.26020239452129]
  推薦システムにおける説明は、ユーザが推薦の合理性を理解するのに役立つ。 会話環境においては、複数のコンテキスト化された説明を生成する必要がある。 本稿では,従来のレコメンデーションシステムの概念と,レコメンデーションシステムの特徴に基づく10つの評価視点を提案する。
  論文  参考訳（メタデータ） (2023-05-27T07:36:08Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• KECRS: Towards Knowledge-Enriched Conversational Recommendation System [50.0292306485452]
  chit-chatベースの会話レコメンデーションシステム(crs)は、自然言語インタラクションを通じてユーザーにアイテムレコメンデーションを提供する。 外部知識グラフ(KG)がChit-chatベースのCRSに導入されている。 KECRS(Knowledge-Enriched Conversational Recommendation System)の提案 大規模データセットの実験結果は、KECRSが最先端のキトチャットベースのCRSを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-05-18T03:52:06Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。