論文の概要: Large Language Models as Conversational Movie Recommenders: A User Study
- arxiv url: http://arxiv.org/abs/2404.19093v1
- Date: Mon, 29 Apr 2024 20:17:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 18:00:28.521286
- Title: Large Language Models as Conversational Movie Recommenders: A User Study
- Title（参考訳）: 対話型映画レコメンダとしての大規模言語モデル--ユーザスタディ
- Authors: Ruixuan Sun, Xinyi Li, Avinash Akella, Joseph A. Konstan,
- Abstract要約: 大規模言語モデル(LLM)は、強い推薦性を提供するが、全体的なパーソナライゼーション、多様性、ユーザ信頼は欠如している。
LLMは、あまり知られていない映画やニッチ映画を推薦する能力を高めている。
- 参考スコア（独自算出の注目度）: 3.3636849604467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores the effectiveness of using large language models (LLMs) for personalized movie recommendations from users' perspectives in an online field experiment. Our study involves a combination of between-subject prompt and historic consumption assessments, along with within-subject recommendation scenario evaluations. By examining conversation and survey response data from 160 active users, we find that LLMs offer strong recommendation explainability but lack overall personalization, diversity, and user trust. Our results also indicate that different personalized prompting techniques do not significantly affect user-perceived recommendation quality, but the number of movies a user has watched plays a more significant role. Furthermore, LLMs show a greater ability to recommend lesser-known or niche movies. Through qualitative analysis, we identify key conversational patterns linked to positive and negative user interaction experiences and conclude that providing personal context and examples is crucial for obtaining high-quality recommendations from LLMs.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)をユーザの視点からパーソナライズした映画レコメンデーションのオンラインフィールド実験における有効性について検討する。
本研究は、オブジェクト間プロンプトと履歴消費評価の組み合わせと、オブジェクト内レコメンデーションシナリオの評価を含む。
160人のアクティブユーザからの会話や質問応答データを調べることで、LLMは強い推薦性を提供するが、全体的なパーソナライゼーション、多様性、ユーザ信頼は欠如していることが分かる。
また,異なるパーソナライズ・プロンプト技術がユーザの推薦品質に有意な影響を与えていないことも示唆した。
さらにLLMは、あまり知られていない映画やニッチ映画を推薦する能力も向上している。
質的な分析を通じて、ポジティブなユーザインタラクション体験とネガティブなユーザインタラクション体験に結びつく重要な会話パターンを特定し、LLMから高品質なレコメンデーションを得るためには、個人的コンテキストとサンプルを提供することが不可欠である、と結論づける。
関連論文リスト
- Active Preference-based Learning for Multi-dimensional Personalization [7.349038301460469]
大規模言語モデル(LLM)はタスク間で顕著な汎用性を示しているが、個々の人間の好みに合わせることは依然として困難である。
複数の目的にまたがるユーザの嗜好を推定するためにバイナリフィードバックを用いた能動的嗜好学習フレームワークを提案する。
モデル応答をパーソナライズする上で,言語生成タスクに関する理論的解析と実験を行い,そのフィードバック効率と有効性を示す。
論文 参考訳（メタデータ） (2024-11-01T11:49:33Z) - Large Language Models as Narrative-Driven Recommenders [0.051205673783866146]
大規模言語モデル(LLM)は、一般的な自然言語クエリの処理に優れていることが示されている。
映画レコメンデーション設定において,38個のオープンソース LLM とクローズドソース LLM のパフォーマンスを比較した。
以上の結果から,LLMがコンテキストに関連のある映画レコメンデーションを生成できることが示唆された。
論文 参考訳（メタデータ） (2024-10-17T14:39:24Z) - Few-shot Personalization of LLMs with Mis-aligned Responses [40.0349773257245]
本稿では,大規模言語モデル(LLM)のパーソナライズのための新しいアプローチを提案する。
私たちのキーとなるアイデアは、LSMを用いてプロンプトを段階的に改善することで、各ユーザに対してパーソナライズされたプロンプトのセットを学ぶことです。
即時改善の反復過程において,LLMによる不整合応答の文脈を取り入れた。
論文 参考訳（メタデータ） (2024-06-26T18:29:12Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - A Large Language Model Enhanced Sequential Recommender for Joint Video and Comment Recommendation [77.42486522565295]
我々は、パーソナライズされたビデオとコメントのレコメンデーションを共同で行うLSVCRと呼ばれる新しいレコメンデーション手法を提案する。
提案手法は,逐次レコメンデーション(SR)モデルと補足型大規模言語モデル(LLM)レコメンデーションという2つの重要なコンポーネントから構成される。
特に、コメント視聴時間の4.13%が大幅に向上した。
論文 参考訳（メタデータ） (2024-03-20T13:14:29Z) - What Are We Optimizing For? A Human-centric Evaluation of Deep Learning-based Movie Recommenders [12.132920692489911]
映画領域における4つのDL-RecSysモデルの人間中心評価ケーススタディを行う。
DL-RecSysモデルがパーソナライズされたレコメンデーション生成において,445人の実アクティブユーザを対象に調査を行った。
いくつかのDL-RecSysモデルは、新規で予期せぬ項目を推奨し、多様性、信頼性、透明性、正確性、全体的なユーザ満足度が低下している。
論文 参考訳（メタデータ） (2024-01-21T23:56:57Z) - LLM-Rec: Personalized Recommendation via Prompting Large Language Models [62.481065357472964]
大きな言語モデル(LLM)は、常識的な知識と推論を活用する能力を示した。
大規模言語モデル(LLM)の最近の進歩は、コモンセンスの知識と推論を活用できることを顕著に示している。
本研究では,パーソナライズされたテキストベースのレコメンデーションを改善するために,テキストエンリッチメントの4つの異なる促進戦略を取り入れた新しいアプローチ LLM-Rec を提案する。
論文 参考訳（メタデータ） (2023-07-24T18:47:38Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳（メタデータ） (2023-06-16T13:04:56Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - Recommendation with User Active Disclosing Willingness [20.306413327597603]
本研究では,ユーザが異なる行動を公開する上で,その「意志」を示すことを許される,新しい推薦パラダイムについて検討する。
我々は,推薦品質とユーザ開示意欲のバランスをとる上で,モデルの有効性を示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-10-25T04:43:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。