論文の概要: User Preferences for Large Language Model versus Template-Based Explanations of Movie Recommendations: A Pilot Study
- arxiv url: http://arxiv.org/abs/2409.06297v1
- Date: Tue, 10 Sep 2024 07:51:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 18:40:09.136107
- Title: User Preferences for Large Language Model versus Template-Based Explanations of Movie Recommendations: A Pilot Study
- Title(参考訳): 映画レコメンデーションのテンプレートに基づく説明と大規模言語モデルのユーザの嗜好:パイロット研究
- Authors: Julien Albert, Martin Balfroid, Miriam Doh, Jeremie Bogaert, Luca La Fisca, Liesbet De Vos, Bryan Renard, Vincent Stragier, Emmanuel Jean,
- Abstract要約: 大規模言語モデル(LLM)は、レコメンダシステムに対してより共鳴的な説明を生成することができる。
25名の被験者を対象にパイロット実験を行った。
LLMに基づく説明がよりリッチで魅力的なユーザエクスペリエンスを提供する可能性を示唆する予備的な研究結果が得られた。
- 参考スコア(独自算出の注目度): 0.6965384453064829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recommender systems have become integral to our digital experiences, from online shopping to streaming platforms. Still, the rationale behind their suggestions often remains opaque to users. While some systems employ a graph-based approach, offering inherent explainability through paths associating recommended items and seed items, non-experts could not easily understand these explanations. A popular alternative is to convert graph-based explanations into textual ones using a template and an algorithm, which we denote here as ''template-based'' explanations. Yet, these can sometimes come across as impersonal or uninspiring. A novel method would be to employ large language models (LLMs) for this purpose, which we denote as ''LLM-based''. To assess the effectiveness of LLMs in generating more resonant explanations, we conducted a pilot study with 25 participants. They were presented with three explanations: (1) traditional template-based, (2) LLM-based rephrasing of the template output, and (3) purely LLM-based explanations derived from the graph-based explanations. Although subject to high variance, preliminary findings suggest that LLM-based explanations may provide a richer and more engaging user experience, further aligning with user expectations. This study sheds light on the potential limitations of current explanation methods and offers promising directions for leveraging large language models to improve user satisfaction and trust in recommender systems.
- Abstract(参考訳): オンラインショッピングからストリーミングプラットフォームに至るまで、リコメンダシステムは私たちのデジタル体験に不可欠なものになっています。
それでも、提案の背後にある理論的根拠は、ユーザにとって不透明なままであることが多い。
一部のシステムはグラフベースのアプローチを採用しており、推奨項目とシード項目を関連付ける経路を通じて固有の説明性を提供するが、専門家でない者はこれらの説明を容易に理解できなかった。
グラフベースの説明をテンプレートとアルゴリズムを使ってテキストに変換するのが一般的な方法であり、ここでは 'テンプレートベース' の説明と表現する。
しかし、これらは時々、非人格的、または意図的でないものとして見受けられる。
この目的のために、我々は'LLM-based'と表現する、大きな言語モデル(LLM)を採用する新しい手法を提案する。
LLMの有効性を評価するため,25名の被験者を対象に実験を行った。
1) 従来のテンプレートベース, (2) LLMベースのテンプレート出力の言い換え, (3) 純粋に LLM に基づく説明をグラフベースの説明から導いた。
高いばらつきはあるものの、予備的な知見は、LCMに基づく説明は、よりリッチで魅力的なユーザーエクスペリエンスを提供し、さらにユーザ期待に合致する可能性があることを示唆している。
本研究は、現在の説明手法の潜在的な限界に光を当て、ユーザ満足度の向上とレコメンダシステムへの信頼のために、大規模言語モデルを活用するための有望な方向性を提供する。
関連論文リスト
- ReasoningRec: Bridging Personalized Recommendations and Human-Interpretable Explanations through LLM Reasoning [15.049688896236821]
本稿では、推論に基づくレコメンデーションフレームワークReasoningRecについて述べる。
ReasoningRecはレコメンデーションと人間の解釈可能な説明のギャップを埋める。
実証的な評価では、ReasoningRecは最先端の手法を最大12.5%上回っている。
論文 参考訳(メタデータ) (2024-10-30T16:37:04Z) - MAPLE: Enhancing Review Generation with Multi-Aspect Prompt LEarning in Explainable Recommendation [12.874105550787514]
我々は、MAPLE(Multi-Aspect Prompt LEarner)と呼ばれるパーソナライズされたアスペクト制御モデルを提案する。
レストランドメインにおける2つの実世界レビューデータセットの実験は、MAPLEがテキストの観点からベースラインレビュー生成モデルより優れていることを示している。
論文 参考訳(メタデータ) (2024-08-19T10:12:52Z) - Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。
我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文 参考訳(メタデータ) (2024-06-02T23:13:56Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Unlocking the Potential of Large Language Models for Explainable
Recommendations [55.29843710657637]
説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。
本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。
いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
論文 参考訳(メタデータ) (2023-12-25T09:09:54Z) - RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。
本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。
効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
論文 参考訳(メタデータ) (2023-11-18T03:05:43Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。