論文の概要: Concept -- An Evaluation Protocol on Conversation Recommender Systems with System- and User-centric Factors
- arxiv url: http://arxiv.org/abs/2404.03304v1
- Date: Thu, 4 Apr 2024 08:56:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 15:14:12.807268
- Title: Concept -- An Evaluation Protocol on Conversation Recommender Systems with System- and User-centric Factors
- Title(参考訳): 概念 -- システムとユーザ中心の要素を持つ会話レコメンダシステムの評価プロトコル
- Authors: Chen Huang, Peixin Qin, Yang Deng, Wenqiang Lei, Jiancheng Lv, Tat-Seng Chua,
- Abstract要約: 本稿では,システムとユーザ中心の要素を統合した新しい包括的評価プロトコルであるConceptを提案する。
まず、現在のCRSモデルの長所と短所を概観する。
第二に、「全能」なChatGPTにおける低ユーザビリティの問題を特定し、CRSを評価するための包括的なリファレンスガイドを提供する。
- 参考スコア(独自算出の注目度): 68.68418801681965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The conversational recommendation system (CRS) has been criticized regarding its user experience in real-world scenarios, despite recent significant progress achieved in academia. Existing evaluation protocols for CRS may prioritize system-centric factors such as effectiveness and fluency in conversation while neglecting user-centric aspects. Thus, we propose a new and inclusive evaluation protocol, Concept, which integrates both system- and user-centric factors. We conceptualise three key characteristics in representing such factors and further divide them into six primary abilities. To implement Concept, we adopt a LLM-based user simulator and evaluator with scoring rubrics that are tailored for each primary ability. Our protocol, Concept, serves a dual purpose. First, it provides an overview of the pros and cons in current CRS models. Second, it pinpoints the problem of low usability in the "omnipotent" ChatGPT and offers a comprehensive reference guide for evaluating CRS, thereby setting the foundation for CRS improvement.
- Abstract(参考訳): 会話レコメンデーションシステム(CRS)は,近年の学界の進歩にもかかわらず,現実のシナリオにおけるユーザエクスペリエンスについて批判されている。
既存のCRSの評価プロトコルは、ユーザ中心の側面を無視しながら、会話の有効性や流布度などのシステム中心の要素を優先することができる。
そこで本研究では,システムとユーザ中心の要素を統合した新しい包括的評価プロトコルであるConceptを提案する。
我々はこれらの要因を表現する上で重要な3つの特徴を概念化し、それらをさらに6つの一次能力に分割する。
Conceptを実装するために,LLMベースのユーザシミュレータと評価器を採用し,各プライマリ能力に適合したブラスリックをスコアリングする。
私たちのプロトコルであるConceptは、二重目的に役立ちます。
まず、現在のCRSモデルの長所と短所の概要を提供する。
第二に、「全能」なChatGPTにおける低ユーザビリティの問題を特定し、CRSを評価するための包括的なリファレンスガイドを提供し、CRSの改善の基礎を定めている。
関連論文リスト
- Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳(メタデータ) (2024-04-19T16:45:50Z) - A Conversation is Worth A Thousand Recommendations: A Survey of Holistic
Conversational Recommender Systems [54.78815548652424]
会話レコメンデータシステムは対話的なプロセスを通じてレコメンデーションを生成する。
すべてのCRSアプローチが、インタラクションデータのソースとして人間の会話を使用するわけではない。
全体論的CRSは、現実世界のシナリオから収集された会話データを使って訓練される。
論文 参考訳(メタデータ) (2023-09-14T12:55:23Z) - Towards Explainable Conversational Recommender Systems [44.26020239452129]
推薦システムにおける説明は、ユーザが推薦の合理性を理解するのに役立つ。
会話環境においては、複数のコンテキスト化された説明を生成する必要がある。
本稿では,従来のレコメンデーションシステムの概念と,レコメンデーションシステムの特徴に基づく10つの評価視点を提案する。
論文 参考訳(メタデータ) (2023-05-27T07:36:08Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:12:43Z) - Evaluating the Robustness of Conversational Recommender Systems by
Adversarial Examples [16.49836195831763]
2つのカテゴリに4つのシナリオを含む逆評価手法を提案する。
我々は、異なる入力データに直面して、これらのシステムのロバスト性を評価するために、逆例を生成する。
以上の結果から, いずれのシステムも頑健であり, 敵の例に信頼性がないことが明らかとなった。
論文 参考訳(メタデータ) (2023-03-09T20:51:18Z) - EGCR: Explanation Generation for Conversational Recommendation [7.496434082286226]
対話エージェントがなぜ行動を起こすのかを説明するための説明文を生成することに基づく会話推薦のための説明生成(EGCR)。
EGCRはユーザレビューを取り入れて項目表現を強化し、会話全体の情報性を高める。
EGCRを1つのベンチマークの会話推薦データセット上で評価し、他の最先端技術モデルと比較して、推奨精度と会話品質の両方で優れた性能を実現する。
論文 参考訳(メタデータ) (2022-08-17T02:30:41Z) - KECRS: Towards Knowledge-Enriched Conversational Recommendation System [50.0292306485452]
chit-chatベースの会話レコメンデーションシステム(crs)は、自然言語インタラクションを通じてユーザーにアイテムレコメンデーションを提供する。
外部知識グラフ(KG)がChit-chatベースのCRSに導入されている。
KECRS(Knowledge-Enriched Conversational Recommendation System)の提案
大規模データセットの実験結果は、KECRSが最先端のキトチャットベースのCRSを上回っていることを示しています。
論文 参考訳(メタデータ) (2021-05-18T03:52:06Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳(メタデータ) (2020-11-01T19:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。