論文の概要: Re2LLM: Reflective Reinforcement Large Language Model for Session-based Recommendation
- arxiv url: http://arxiv.org/abs/2403.16427v4
- Date: Fri, 19 Apr 2024 16:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 19:18:16.914651
- Title: Re2LLM: Reflective Reinforcement Large Language Model for Session-based Recommendation
- Title（参考訳）: Re2LLM: セッションベースのレコメンデーションのためのリフレクティブ強化大言語モデル
- Authors: Ziyan Wang, Yingpeng Du, Zhu Sun, Haoyan Chua, Kaidong Feng, Wenya Wang, Jie Zhang,
- Abstract要約: セッションベースレコメンデーション(SBR)を強化するための有望なアプローチとして,大規模言語モデル(LLM)が登場している。
本稿では,SBRのための反射強化大言語モデル(Re2LLM)を提案する。
- 参考スコア（独自算出の注目度）: 23.182787000804407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are emerging as promising approaches to enhance session-based recommendation (SBR), where both prompt-based and fine-tuning-based methods have been widely investigated to align LLMs with SBR. However, the former methods struggle with optimal prompts to elicit the correct reasoning of LLMs due to the lack of task-specific feedback, leading to unsatisfactory recommendations. Although the latter methods attempt to fine-tune LLMs with domain-specific knowledge, they face limitations such as high computational costs and reliance on open-source backbones. To address such issues, we propose a Reflective Reinforcement Large Language Model (Re2LLM) for SBR, guiding LLMs to focus on specialized knowledge essential for more accurate recommendations effectively and efficiently. In particular, we first design the Reflective Exploration Module to effectively extract knowledge that is readily understandable and digestible by LLMs. To be specific, we direct LLMs to examine recommendation errors through self-reflection and construct a knowledge base (KB) comprising hints capable of rectifying these errors. To efficiently elicit the correct reasoning of LLMs, we further devise the Reinforcement Utilization Module to train a lightweight retrieval agent. It learns to select hints from the constructed KB based on the task-specific feedback, where the hints can serve as guidance to help correct LLMs reasoning for better recommendations. Extensive experiments on multiple real-world datasets demonstrate that our method consistently outperforms state-of-the-art methods.
- Abstract（参考訳）: 大規模言語モデル (LLMs) はセッションベースレコメンデーション(SBR)を強化するための有望なアプローチとして登場し, プロンプトベースと微調整ベースの両方の手法が広く研究されている。
しかし、従来の手法では、タスク固有のフィードバックが欠如しているため、LLMの正しい推論を引き出すための最適なプロンプトに苦しむため、不満足なレコメンデーションが生じる。
後者の手法はドメイン固有の知識でLLMを微調整しようとするが、高い計算コストやオープンソースのバックボーンへの依存といった制限に直面している。
このような問題に対処するため、我々はSBRのための反射強化大言語モデル(Re2LLM)を提案し、LLMがより正確なレコメンデーションに不可欠な専門知識に集中するよう誘導する。
特に,LLMが理解しやすく,消化しやすい知識を効果的に抽出するために,まず反射探索モジュールを設計する。
具体的には,LLMに対して自己回帰による推薦誤りの検証を指示し,これらの誤りを修正可能なヒントを含む知識ベース(KB)を構築する。
さらに,LLMの正しい推論を効率的に行うために,軽量検索エージェントを訓練するための強化利用モジュールを考案する。
タスク固有のフィードバックに基づいて、構築されたKBからヒントを選択することを学び、そこでヒントは、より良いレコメンデーションのためにLLMの推論を修正するためのガイダンスとして役立ちます。
複数の実世界のデータセットに対する大規模な実験は、我々の手法が常に最先端の手法より優れていることを示した。
関連論文リスト
- Enhancing High-order Interaction Awareness in LLM-based Recommender Model [3.7623606729515133]
本稿では,LLMベースのリコメンデータ(ELMRec)について述べる。
我々は、レコメンデーションのためのグラフ構築相互作用のLLM解釈を大幅に強化するために、単語全体の埋め込みを強化する。
ELMRecは、直接およびシーケンシャルなレコメンデーションの両方において、最先端(SOTA)メソッドよりも優れています。
論文 参考訳（メタデータ） (2024-09-30T06:07:12Z) - SNAP: Unlearning Selective Knowledge in Large Language Models with Negative Instructions [37.172662930947446]
命令追従型大規模言語モデル(LLM)は、個人または著作権のある情報を故意に開示する。
SNAPは,情報を選択的に学習するための革新的なフレームワークである。
我々は,NLPベンチマークにおけるフレームワークの評価を行い,提案手法が元のLLM能力を維持していることを示す。
論文 参考訳（メタデータ） (2024-06-18T06:54:05Z) - DELRec: Distilling Sequential Pattern to Enhance LLM-based Recommendation [3.5113201254928117]
逐次レコメンデーション(SR)タスクは、ユーザの過去のインタラクションと好みの変化を関連付けることで、レコメンデーションの精度を高める。
従来のモデルは、トレーニングデータ内のシーケンシャルなパターンをキャプチャすることだけに集中し、外部ソースからアイテムタイトルに埋め込まれたより広いコンテキストやセマンティックな情報を無視することが多い。
DelRecは、SRモデルから知識を抽出し、LLMがより効果的なシーケンシャルレコメンデーションのためにこれらの補足情報を容易に理解し利用できるようにすることを目的としている。
論文 参考訳（メタデータ） (2024-06-17T02:47:09Z) - Aligning Large Language Models for Controllable Recommendations [31.255594408462322]
従来のレコメンデータモデルから派生したラベルを付加した教師付き学習タスクのコレクションを導入する。
そこで我々は,LLMの能力を高めるための強化学習に基づくアライメント手法を開発した。
提案手法は,高い精度性能を維持しつつ,レコメンダシステム内の命令に準拠するLLMの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2024-03-08T05:23:27Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳（メタデータ） (2023-10-18T05:13:47Z) - LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。
我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。
ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
論文 参考訳（メタデータ） (2023-08-23T16:32:54Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳（メタデータ） (2023-05-23T16:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。