論文の概要: CRS Arena: Crowdsourced Benchmarking of Conversational Recommender Systems

• arxiv url: http://arxiv.org/abs/2412.10514v1
• Date: Fri, 13 Dec 2024 19:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:58.939553
• Title: CRS Arena: Crowdsourced Benchmarking of Conversational Recommender Systems
• Title（参考訳）: CRS Arena: 会話レコメンダシステムのクラウドソーシングベンチマーク
• Authors: Nolwenn Bernard, Hideaki Joko, Faegheh Hasibi, Krisztian Balog,
• Abstract要約: 本稿では,対話型レコメンダシステム(CRS)のスケーラブルなベンチマークプラットフォームであるCRS Arenaを紹介する。 CRS Arenaは会話とユーザのフィードバックを収集し、CRSの信頼性評価とランキングのための基盤を提供する。 CRS-ArenaDialは、474の会話とそれに対応するユーザフィードバックのデータセットであり、Eloレーティングシステムに基づくシステムの予備的なランキングである。
• 参考スコア（独自算出の注目度）: 15.93869547544623
• License:
• Abstract: We introduce CRS Arena, a research platform for scalable benchmarking of Conversational Recommender Systems (CRS) based on human feedback. The platform displays pairwise battles between anonymous conversational recommender systems, where users interact with the systems one after the other before declaring either a winner or a draw. CRS Arena collects conversations and user feedback, providing a foundation for reliable evaluation and ranking of CRSs. We conduct experiments with CRS Arena on both open and closed crowdsourcing platforms, confirming that both setups produce highly correlated rankings of CRSs and conversations with similar characteristics. We release CRSArena-Dial, a dataset of 474 conversations and their corresponding user feedback, along with a preliminary ranking of the systems based on the Elo rating system. The platform is accessible at https://iai-group-crsarena.hf.space/.
• Abstract（参考訳）: 本稿では,対話型レコメンダシステム(CRS)のスケーラブルなベンチマークプラットフォームであるCRS Arenaを紹介する。 プラットフォームは匿名の会話レコメンデーションシステム間のペアワイズの戦いを表示し、ユーザーは勝者か引き分けかを宣言する前に、システムと対話する。 CRS Arenaは会話とユーザのフィードバックを収集し、CRSの信頼性評価とランキングのための基盤を提供する。 オープンなクラウドソーシングプラットフォームとクローズドなクラウドソーシングプラットフォームの両方でCRS Arenaを用いて実験を行い、両方の設定がCRSの高度に相関したランキングと類似した特徴を持つ会話を生成することを確認した。 CRSArena-Dialは、474の会話とそれに対応するユーザフィードバックのデータセットであり、Eloレーティングシステムに基づくシステムの事前ランキングである。 プラットフォームはhttps://iai-group-crsarena.hf.space/でアクセスできる。

関連論文リスト

• Concept -- An Evaluation Protocol on Conversational Recommender Systems with System-centric and User-centric Factors [68.68418801681965]
  本稿では,システムとユーザ中心の要素を統合した新しい包括的評価プロトコルであるConceptを提案する。 まず、現在のCRSモデルの長所と短所を概観する。 第二に、「全能」なChatGPTにおける低ユーザビリティの問題を特定し、CRSを評価するための包括的なリファレンスガイドを提供する。
  論文  参考訳（メタデータ） (2024-04-04T08:56:48Z)
• A Conversation is Worth A Thousand Recommendations: A Survey of Holistic Conversational Recommender Systems [54.78815548652424]
  会話レコメンデータシステムは対話的なプロセスを通じてレコメンデーションを生成する。 すべてのCRSアプローチが、インタラクションデータのソースとして人間の会話を使用するわけではない。 全体論的CRSは、現実世界のシナリオから収集された会話データを使って訓練される。
  論文  参考訳（メタデータ） (2023-09-14T12:55:23Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• EGCR: Explanation Generation for Conversational Recommendation [7.496434082286226]
  対話エージェントがなぜ行動を起こすのかを説明するための説明文を生成することに基づく会話推薦のための説明生成(EGCR)。 EGCRはユーザレビューを取り入れて項目表現を強化し、会話全体の情報性を高める。 EGCRを1つのベンチマークの会話推薦データセット上で評価し、他の最先端技術モデルと比較して、推奨精度と会話品質の両方で優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-08-17T02:30:41Z)
• Customized Conversational Recommender Systems [45.84713970070487]
  会話レコメンデータシステム(CRS)は、ユーザの現在の意図を捉え、リアルタイムなマルチターン対話によるレコメンデーションを提供することを目的としている。 本稿では,3つの視点からCRSモデルをカスタマイズした新しいCRSモデルであるCustomized Conversational Recommender System(CCRS)を提案する。 パーソナライズされたレコメンデーションを提供するために,対話コンテキストからユーザの現在あるきめ細かい意図を,ユーザ固有の嗜好のガイダンスで抽出する。
  論文  参考訳（メタデータ） (2022-06-30T09:45:36Z)
• KECRS: Towards Knowledge-Enriched Conversational Recommendation System [50.0292306485452]
  chit-chatベースの会話レコメンデーションシステム(crs)は、自然言語インタラクションを通じてユーザーにアイテムレコメンデーションを提供する。 外部知識グラフ(KG)がChit-chatベースのCRSに導入されている。 KECRS(Knowledge-Enriched Conversational Recommendation System)の提案 大規模データセットの実験結果は、KECRSが最先端のキトチャットベースのCRSを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-05-18T03:52:06Z)
• Advances and Challenges in Conversational Recommender Systems: A Survey [133.93908165922804]
  現在の会話レコメンダーシステム(CRS)で使用されるテクニックの体系的なレビューを提供します。 CRS開発の主な課題を5つの方向にまとめます。 これらの研究の方向性は、情報検索(IR)、自然言語処理(NLP)、人間とコンピュータの相互作用(HCI)などの複数の研究分野を含みます。
  論文  参考訳（メタデータ） (2021-01-23T08:53:15Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)
• A Survey on Conversational Recommender Systems [11.319431345375751]
  会話レコメンデータシステム(CRS)は異なるアプローチを採用し、よりリッチなインタラクションをサポートする。 CRSに対する関心は、ここ数年で大幅に増加した。 この開発は主に自然言語処理の分野における著しい進歩によるものである。
  論文  参考訳（メタデータ） (2020-04-01T18:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。