論文の概要: Enhancing Long-Term Recommendation with Bi-level Learnable Large Language Model Planning

• arxiv url: http://arxiv.org/abs/2403.00843v1
• Date: Thu, 29 Feb 2024 13:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:27:10.365638
• Title: Enhancing Long-Term Recommendation with Bi-level Learnable Large Language Model Planning
• Title（参考訳）: 双方向学習可能な大規模言語モデル計画による長期勧告の強化
• Authors: Wentao Shi, Xiangnan He, Yang Zhang, Chongming Gao, Xinyue Li, Jizhi Zhang, Qifan Wang, Fuli Feng
• Abstract要約: 即時利益と長期関与の両方を考慮に入れた政策を策定するために、計画能力を推薦決定プロセスに組み込むことが不可欠である。 マクロラーニングとマイクロラーニングを階層的な機構で組み合わせたバイレベルLearningable LLM Plannerフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 61.71616513765243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional recommendation setting tends to excessively cater to users' immediate interests and neglect their long-term engagement. To address it, it is crucial to incorporate planning capabilities into the recommendation decision-making process to develop policies that take into account both immediate interests and long-term engagement. Despite Reinforcement Learning (RL) can learn planning capacity by maximizing cumulative reward, the scarcity of recommendation data presents challenges such as instability and susceptibility to overfitting when training RL models from scratch. In this context, we propose to leverage the remarkable planning capabilities over sparse data of Large Language Models (LLMs) for long-term recommendation. The key lies in enabling a language model to understand and apply task-solving principles effectively in personalized recommendation scenarios, as the model's pre-training may not naturally encompass these principles, necessitating the need to inspire or teach the model. To achieve this, we propose a Bi-level Learnable LLM Planner framework, which combines macro-learning and micro-learning through a hierarchical mechanism. The framework includes a Planner and Reflector for acquiring high-level guiding principles and an Actor-Critic component for planning personalization. Extensive experiments validate the superiority of the framework in learning to plan for long-term recommendations.
• Abstract（参考訳）: 従来のレコメンデーション設定は、ユーザの直接の関心を過度に満たし、長期的なエンゲージメントを無視する傾向がある。 即時利益と長期エンゲージメントの両方を考慮に入れた政策を策定するため、提案決定プロセスに計画機能を組み込むことが重要である。 強化学習(RL)は累積報酬を最大化することで計画能力を学ぶことができるが、推奨データの不足は、RLモデルをゼロからトレーニングする際の不安定性や過度な適合性といった課題を提示する。 本稿では,Large Language Models (LLMs) のスパースデータよりも,長期的推薦に優れた計画能力を活用することを提案する。 キーとなるのは、言語モデルがパーソナライズされたレコメンデーションシナリオにおいて、タスク解決の原則を効果的に理解し、適用できるようにすることである。 そこで本研究では,マクロラーニングとマイクロラーニングを階層的な機構で組み合わせたBi-level Learnable LLM Plannerフレームワークを提案する。 このフレームワークには、高レベルのガイド原則を取得するためのプランナーとリフレクタと、パーソナライゼーションを計画するためのアクタ・クリティカルコンポーネントが含まれている。 大規模な実験は、長期的勧告を計画する学習におけるフレームワークの優位性を検証する。

関連論文リスト

• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning [12.651588927599441]
  インストラクションチューニングは、大きな言語モデルにオープンドメイン命令と人間優先応答を合わせることを目的としている。 学生のLLMの追従が難しい命令を選択するために,TAPIR(Task-Aware Curriculum Planning for Instruction Refinement)を導入する。 学生の能力のバランスをとるために、トレーニングセット内のタスク分布は、対応するタスクに応じて自動的に調整された応答で調整される。
  論文  参考訳（メタデータ） (2024-05-22T08:38:26Z)
• RecMind: Large Language Model Powered Agent For Recommendation [16.710558148184205]
  RecMindは、ゼロショットパーソナライズされたレコメンデーションを慎重に計画する自律的なレコメンデーションエージェントである。 実験の結果,RecMind は既存のゼロ/フェーショット LLM ベースのレコメンデーションベースライン手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-28T04:31:04Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• Understanding the Capabilities of Large Language Models for Automated Planning [24.37599752610625]
  この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。 この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-25T15:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。