論文の概要: Fashion-AlterEval: A Dataset for Improved Evaluation of Conversational Recommendation Systems with Alternative Relevant Items

• arxiv url: http://arxiv.org/abs/2507.18017v1
• Date: Thu, 24 Jul 2025 01:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:42.813396
• Title: Fashion-AlterEval: A Dataset for Improved Evaluation of Conversational Recommendation Systems with Alternative Relevant Items
• Title（参考訳）: Fashion-AlterEval: 代替関連項目を用いた会話推薦システムの評価改善のためのデータセット
• Authors: Maria Vlachou,
• Abstract要約: Conversational Recommendation Systems (CRS)では、各ターンに推奨項目に対するフィードバックを提供する。 提案する2つのメタユーザシミュレータは,収集した判定値を用いて,シミュレーションされたユーザが好みを表現できるようにする。 シミュレータによる代替案の知識を利用することで、既存のCRSモデルの評価に大きな影響を与える可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Conversational Recommendation Systems (CRS), a user provides feedback on recommended items at each turn, leading the CRS towards improved recommendations. Due to the need for a large amount of data, a user simulator is employed for both training and evaluation. Such user simulators critique the current retrieved item based on knowledge of a single target item. However, system evaluation in offline settings with simulators is limited by the focus on a single target item and their unlimited patience over a large number of turns. To overcome these limitations of existing simulators, we propose Fashion-AlterEval, a new dataset that contains human judgments for a selection of alternative items by adding new annotations in common fashion CRS datasets. Consequently, we propose two novel meta-user simulators that use the collected judgments and allow simulated users not only to express their preferences about alternative items to their original target, but also to change their mind and level of patience. In our experiments using the Shoes and Fashion IQ as the original datasets and three CRS models, we find that using the knowledge of alternatives by the simulator can have a considerable impact on the evaluation of existing CRS models, specifically that the existing single-target evaluation underestimates their effectiveness, and when simulatedusers are allowed to instead consider alternative relevant items, the system can rapidly respond to more quickly satisfy the user.
• Abstract（参考訳）: Conversational Recommendation Systems (CRS)では、各ターンで推奨項目に対するフィードバックが提供され、CRSは改善されたレコメンデーションに向かっている。 大量のデータを必要とするため、トレーニングと評価の両方にユーザシミュレータが使用される。 このようなユーザシミュレータは、単一のターゲットアイテムの知識に基づいて、現在の検索アイテムを批判する。 しかし,シミュレータを用いたオフライン環境でのシステム評価は,1つの対象項目に焦点をあてることと,多数のターンに対する無限の忍耐によって制限される。 既存のシミュレータのこれらの制限を克服するために、Fashion-AlterEvalを提案する。Fashion-AlterEvalは、一般的なCRSデータセットで新しいアノテーションを追加することで、代替項目の選択に対する人間の判断を含む新しいデータセットである。 提案するメタユーザシミュレータは,対象物に対する好みを表現できるだけでなく,その意識や忍耐度も変化させる。 また,本実験では,シューズとファッションIQを元のデータセットと3つのCRSモデルとして使用することにより,既存のCRSモデルの評価に多大な影響を与えることが確認された。

関連論文リスト

• Multi-agents based User Values Mining for Recommendation [52.26100802380767]
  効率的なユーザ値抽出のためのゼロショットマルチLLM協調フレームワークを提案する。 本研究は,本質的な意味を保ちながら,項目内容のコンデンスにテキスト要約手法を適用した。 幻覚を緩和するために,評価役と監督役の2つの特殊エージェントの役割を導入する。
  論文  参考訳（メタデータ） (2025-05-02T04:01:31Z)
• Search-Based Interaction For Conversation Recommendation via Generative Reward Model Based Simulated User [117.82681846559909]
  会話レコメンデーションシステム(CRS)は、マルチターンインタラクションを使用してユーザの好みを捉え、パーソナライズされたレコメンデーションを提供する。 本稿では,CRSと自動インタラクションを行うための生成報酬モデルに基づくシミュレーションユーザGRSUを提案する。
  論文  参考訳（メタデータ） (2025-04-29T06:37:30Z)
• Do Retrieval-Augmented Language Models Adapt to Varying User Needs? [28.729041459278587]
  本稿では,3つのユーザニーズ条件下でALMを体系的に評価する新しい評価フレームワークを提案する。 ユーザインストラクションと検索された情報の性質の両方を変えることで、我々のアプローチは現実世界のアプリケーションの複雑さを捉えます。 本研究は,検索システム開発におけるユーザ中心評価の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-02-27T05:39:38Z)
• Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems [15.481944998961847]
  PEPPERは、実際のユーザインタラクション履歴とレビューから構築された、ターゲットフリーなユーザシミュレータによる評価プロトコルである。 PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。 PEPPERは、CRSの嗜好誘発能力を包括的に評価するための詳細な尺度を提示する。
  論文  参考訳（メタデータ） (2024-11-25T07:36:20Z)
• Towards Empathetic Conversational Recommender Systems [77.53167131692]
  本稿では,共感型会話レコメンデータ(ECR)フレームワークを提案する。 ECRには、感情対応アイテムレコメンデーションと感情対応応答生成という、2つの主要なモジュールが含まれている。 ReDialデータセットの実験は、推奨精度を高め、ユーザの満足度を向上させる上で、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-08-30T15:43:07Z)
• How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation [14.646529557978512]
  本稿では,対話型レコメンダシステムのためのユーザシミュレータ構築におけるLarge Language Modelsの使用制限について分析する。 会話履歴やユーザシミュレータの応答で発生するデータ漏洩は,評価結果を膨らませる結果となる。 そこで我々はSimpleUserSimを提案する。
  論文  参考訳（メタデータ） (2024-03-25T04:21:06Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)
• Leveraging Historical Interaction Data for Improving Conversational Recommender System [105.90963882850265]
  アイテムと属性に基づく嗜好シーケンスを統合するための,新しい事前学習手法を提案する。 実世界の2つのデータセットの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-19T03:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。