論文の概要: LLMRec: Benchmarking Large Language Models on Recommendation Task

• arxiv url: http://arxiv.org/abs/2308.12241v1
• Date: Wed, 23 Aug 2023 16:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 13:25:19.793152
• Title: LLMRec: Benchmarking Large Language Models on Recommendation Task
• Title（参考訳）: LLMRec: 推奨タスクによる大規模言語モデルのベンチマーク
• Authors: Junling Liu, Chao Liu, Peilin Zhou, Qichen Ye, Dading Chong, Kang Zhou, Yueqi Xie, Yuwei Cao, Shoujin Wang, Chenyu You, Philip S.Yu
• Abstract要約: 推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
• 参考スコア（独自算出の注目度）: 54.48899723591296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the fast development of Large Language Models (LLMs) such as ChatGPT has significantly advanced NLP tasks by enhancing the capabilities of conversational models. However, the application of LLMs in the recommendation domain has not been thoroughly investigated. To bridge this gap, we propose LLMRec, a LLM-based recommender system designed for benchmarking LLMs on various recommendation tasks. Specifically, we benchmark several popular off-the-shelf LLMs, such as ChatGPT, LLaMA, ChatGLM, on five recommendation tasks, including rating prediction, sequential recommendation, direct recommendation, explanation generation, and review summarization. Furthermore, we investigate the effectiveness of supervised finetuning to improve LLMs' instruction compliance ability. The benchmark results indicate that LLMs displayed only moderate proficiency in accuracy-based tasks such as sequential and direct recommendation. However, they demonstrated comparable performance to state-of-the-art methods in explainability-based tasks. We also conduct qualitative evaluations to further evaluate the quality of contents generated by different models, and the results show that LLMs can truly understand the provided information and generate clearer and more reasonable results. We aspire that this benchmark will serve as an inspiration for researchers to delve deeper into the potential of LLMs in enhancing recommendation performance. Our codes, processed data and benchmark results are available at https://github.com/williamliujl/LLMRec.
• Abstract（参考訳）: 近年,ChatGPTのような大規模言語モデル(LLM)の急速な開発は,対話型モデルの能力を高めることで,NLPタスクを大幅に進歩させた。 しかし,レコメンデーション領域におけるLSMの応用は十分には研究されていない。 このギャップを埋めるため,様々なレコメンデーションタスク上でLLMをベンチマークするためのレコメンデーションシステムであるLLMRecを提案する。 具体的には,評価予測,逐次レコメンデーション,直接レコメンデーション,説明生成,要約のレビューなど5つのレコメンデーションタスクについて,チャットgpt,llama,chatglmなどの一般市販llmをベンチマークした。 さらに,LLMの命令コンプライアンス能力を向上させるために,教師付き微調整の有効性を検討する。 その結果,llmは逐次的および直接的レコメンデーションなどの正確性に基づくタスクの適度な熟練度しか示さなかった。 しかし、彼らは説明可能性ベースのタスクで最先端のメソッドに匹敵するパフォーマンスを示した。 また,異なるモデルが生成するコンテンツの質を評価するための質的評価を行い,LLMが提供した情報を真に理解し,より明確で合理的な結果を得ることができることを示した。 このベンチマークは、研究者がレコメンデーションパフォーマンスを高めるLLMの可能性を深く掘り下げるためのインスピレーションになることを期待しています。 私たちのコード、処理されたデータ、ベンチマークの結果はhttps://github.com/williamliujl/llmrec.comで閲覧できます。

関連論文リスト

• RLRF4Rec: Reinforcement Learning from Recsys Feedback for Enhanced Recommendation Reranking [33.54698201942643]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。 本稿では,Reinforcement Learning from Recsys Feedback for Enhanced Recommendation Re rankを組み込んだ新しいフレームワークであるRLRF4Recを紹介する。
  論文  参考訳（メタデータ） (2024-10-08T11:42:37Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Finetuning Large Language Model for Personalized Ranking [12.16551080986962]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。 DMPO(Direct Multi-Preference Optimization)は、リコメンデーションタスクのギャップを埋め、LLMのアライメントを強化するために設計されたフレームワークである。
  論文  参考訳（メタデータ） (2024-05-25T08:36:15Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。