論文の概要: Behavior Alignment: A New Perspective of Evaluating LLM-based Conversational Recommender Systems

• arxiv url: http://arxiv.org/abs/2404.11773v2
• Date: Thu, 17 Oct 2024 18:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:14.882881
• Title: Behavior Alignment: A New Perspective of Evaluating LLM-based Conversational Recommender Systems
• Title（参考訳）: 行動アライメント:LLMに基づく会話レコメンダシステム評価の新しい視点
• Authors: Dayu Yang, Fumian Chen, Hui Fang,
• Abstract要約: 大言語モデル (LLM) は対話型レコメンダシステム (CRS) において大きな可能性を証明している。 LLMは、しばしば柔軟で受動的に見え、十分な調査なしに推奨タスクを完了するために急いでいる。 この振る舞いの不一致は、推奨の精度を低下させ、ユーザの満足度を低下させる可能性がある。
• 参考スコア（独自算出の注目度）: 1.652907918484303
• License:
• Abstract: Large Language Models (LLMs) have demonstrated great potential in Conversational Recommender Systems (CRS). However, the application of LLMs to CRS has exposed a notable discrepancy in behavior between LLM-based CRS and human recommenders: LLMs often appear inflexible and passive, frequently rushing to complete the recommendation task without sufficient inquiry.This behavior discrepancy can lead to decreased accuracy in recommendations and lower user satisfaction. Despite its importance, existing studies in CRS lack a study about how to measure such behavior discrepancy. To fill this gap, we propose Behavior Alignment, a new evaluation metric to measure how well the recommendation strategies made by a LLM-based CRS are consistent with human recommenders'. Our experiment results show that the new metric is better aligned with human preferences and can better differentiate how systems perform than existing evaluation metrics. As Behavior Alignment requires explicit and costly human annotations on the recommendation strategies, we also propose a classification-based method to implicitly measure the Behavior Alignment based on the responses. The evaluation results confirm the robustness of the method.
• Abstract（参考訳）: 大規模言語モデル (LLM) は会話レコメンダシステム (CRS) において大きな可能性を証明している。 しかし、LCMのCRSへの適用は、LLMベースのCRSと人間の推奨者との行動の顕著な相違を明らかにしている。 CRSにおける既存の研究は、その重要性にもかかわらず、そのような行動の相違を測定する方法に関する研究を欠いている。 このギャップを埋めるために,LLMベースのCRSによるレコメンデーション戦略が,人間のレコメンデーションとどのように一致しているかを測定するための,新しい評価指標である行動アライメント(Behaviment Alignment)を提案する。 実験の結果,新しい測定基準は人間の嗜好に適合し,既存の評価指標よりもシステムの性能をよく区別できることがわかった。 行動アライメントは推奨戦略に対して明示的でコストのかかる人的アノテーションを必要とするため,反応に基づいて行動アライメントを暗黙的に測定する手法も提案する。 評価結果から, 本手法のロバスト性が確認された。

関連論文リスト

• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates [10.091146498861333]
  GPT-4のような商用の大規模言語モデル(LLM)は、近年、異なるアライメントアプローチの評価と比較に使われている。 LLM審査員の信頼性とアライメントを評価・比較・可視化する枠組みを開発した。
  論文  参考訳（メタデータ） (2024-08-23T11:49:01Z)
• Revisiting Reciprocal Recommender Systems: Metrics, Formulation, and Method [60.364834418531366]
  RRSの性能を包括的かつ正確に評価する5つの新しい評価指標を提案する。 因果的観点からRSを定式化し、二元的介入として勧告を定式化する。 提案手法では,結果の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T07:21:02Z)
• Large Language Models as Evaluators for Recommendation Explanations [23.938202791437337]
  我々は,LLMがレコメンデーション・リコメンデーション・リコメンデーションの評価に役立てられるかどうかを検討する。 我々は,評価者ラベルとユーザが提供する真実との相関を計測するために,3段階のメタ評価戦略を設計し,適用する。 本研究は,LLMを評価対象として活用することは,レコメンデーション説明文の評価において,正確かつ再現可能で費用対効果の高いソリューションであることを示す。
  論文  参考訳（メタデータ） (2024-06-05T13:23:23Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価する上で有望な能力を示している。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PairS)は、LLMを用いてペア比較を行い、候補テキストを効率よくランク付けする不確実性誘導探索手法である。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。