論文の概要: Enhancing Long-Term Recommendation with Bi-level Learnable Large
Language Model Planning
- arxiv url: http://arxiv.org/abs/2403.00843v1
- Date: Thu, 29 Feb 2024 13:49:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 16:27:10.365638
- Title: Enhancing Long-Term Recommendation with Bi-level Learnable Large
Language Model Planning
- Title(参考訳): 双方向学習可能な大規模言語モデル計画による長期勧告の強化
- Authors: Wentao Shi, Xiangnan He, Yang Zhang, Chongming Gao, Xinyue Li, Jizhi
Zhang, Qifan Wang, Fuli Feng
- Abstract要約: 即時利益と長期関与の両方を考慮に入れた政策を策定するために、計画能力を推薦決定プロセスに組み込むことが不可欠である。
マクロラーニングとマイクロラーニングを階層的な機構で組み合わせたバイレベルLearningable LLM Plannerフレームワークを提案する。
- 参考スコア(独自算出の注目度): 61.71616513765243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional recommendation setting tends to excessively cater to users'
immediate interests and neglect their long-term engagement. To address it, it
is crucial to incorporate planning capabilities into the recommendation
decision-making process to develop policies that take into account both
immediate interests and long-term engagement. Despite Reinforcement Learning
(RL) can learn planning capacity by maximizing cumulative reward, the scarcity
of recommendation data presents challenges such as instability and
susceptibility to overfitting when training RL models from scratch.
In this context, we propose to leverage the remarkable planning capabilities
over sparse data of Large Language Models (LLMs) for long-term recommendation.
The key lies in enabling a language model to understand and apply task-solving
principles effectively in personalized recommendation scenarios, as the model's
pre-training may not naturally encompass these principles, necessitating the
need to inspire or teach the model. To achieve this, we propose a Bi-level
Learnable LLM Planner framework, which combines macro-learning and
micro-learning through a hierarchical mechanism. The framework includes a
Planner and Reflector for acquiring high-level guiding principles and an
Actor-Critic component for planning personalization. Extensive experiments
validate the superiority of the framework in learning to plan for long-term
recommendations.
- Abstract(参考訳): 従来のレコメンデーション設定は、ユーザの直接の関心を過度に満たし、長期的なエンゲージメントを無視する傾向がある。
即時利益と長期エンゲージメントの両方を考慮に入れた政策を策定するため、提案決定プロセスに計画機能を組み込むことが重要である。
強化学習(RL)は累積報酬を最大化することで計画能力を学ぶことができるが、推奨データの不足は、RLモデルをゼロからトレーニングする際の不安定性や過度な適合性といった課題を提示する。
本稿では,Large Language Models (LLMs) のスパースデータよりも,長期的推薦に優れた計画能力を活用することを提案する。
キーとなるのは、言語モデルがパーソナライズされたレコメンデーションシナリオにおいて、タスク解決の原則を効果的に理解し、適用できるようにすることである。
そこで本研究では,マクロラーニングとマイクロラーニングを階層的な機構で組み合わせたBi-level Learnable LLM Plannerフレームワークを提案する。
このフレームワークには、高レベルのガイド原則を取得するためのプランナーとリフレクタと、パーソナライゼーションを計画するためのアクタ・クリティカルコンポーネントが含まれている。
大規模な実験は、長期的勧告を計画する学習におけるフレームワークの優位性を検証する。
関連論文リスト
- Aligning Large Language Models for Controllable Recommendations [32.82292871427888]
従来のレコメンデータモデルから派生したラベルを付加した教師付き学習タスクのコレクションを導入する。
そこで我々は,LLMの能力を高めるための強化学習に基づくアライメント手法を開発した。
提案手法は,高い精度性能を維持しつつ,レコメンダシステム内の命令に準拠するLLMの能力を大幅に向上させる。
論文 参考訳(メタデータ) (2024-03-08T05:23:27Z) - Can Small Language Models be Good Reasoners for Sequential
Recommendation? [35.380559538263455]
SLIM (Step-by-step knowLedge dIstillation fraMework for recommendation)
より大規模な教師モデルのためのユーザ行動系列に基づくCoTプロンプトを導入する。
教師モデルによって生成される理論的根拠をラベルとして利用し、下流のより小さな学生モデルを蒸留する。
論文 参考訳(メタデータ) (2024-03-07T06:49:37Z) - Learning Planning-based Reasoning by Trajectories Collection and Process
Reward Synthesizing [66.50096740792928]
収集された軌道上での直接選好最適化(DPO)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2024-02-01T15:18:33Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Learning adaptive planning representations with natural language
guidance [90.24449752926866]
本稿では,タスク固有の計画表現を自動構築するフレームワークであるAdaについて述べる。
Adaは、プランナー互換の高レベルアクション抽象化と、特定の計画タスク領域に適応した低レベルコントローラのライブラリを対話的に学習する。
論文 参考訳(メタデータ) (2023-12-13T23:35:31Z) - RecMind: Large Language Model Powered Agent For Recommendation [17.266571611692264]
RecMindは、ゼロショットパーソナライズされたレコメンデーションを慎重に計画する自律的なレコメンデーションエージェントである。
実験の結果,RecMind は既存のゼロ/フェーショット LLM ベースのレコメンデーションベースライン手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-08-28T04:31:04Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - Recommendation as Instruction Following: A Large Language Model
Empowered Recommendation Approach [83.62750225073341]
我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。
まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。
そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
論文 参考訳(メタデータ) (2023-05-11T17:39:07Z) - Towards a General Pre-training Framework for Adaptive Learning in MOOCs [37.570119583573955]
異種学習要素を適切に活用した,データ観測と学習スタイル分析に基づく統合フレームワークを提案する。
授業の構造やテキスト,知識は,学生の非逐次学習行動に本質的に整合性があり,モデリングに有用であることがわかった。
論文 参考訳(メタデータ) (2022-07-18T13:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。