論文の概要: Can Small Language Models be Good Reasoners for Sequential
Recommendation?
- arxiv url: http://arxiv.org/abs/2403.04260v1
- Date: Thu, 7 Mar 2024 06:49:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 14:54:07.291975
- Title: Can Small Language Models be Good Reasoners for Sequential
Recommendation?
- Title(参考訳): 小さな言語モデルは逐次レコメンデーションの正当な理由になるのだろうか?
- Authors: Yuling Wang, Changxin Tian, Binbin Hu, Yanhua Yu, Ziqi Liu, Zhiqiang
Zhang, Jun Zhou, Liang Pang, Xiao Wang
- Abstract要約: SLIM (Step-by-step knowLedge dIstillation fraMework for recommendation)
より大規模な教師モデルのためのユーザ行動系列に基づくCoTプロンプトを導入する。
教師モデルによって生成される理論的根拠をラベルとして利用し、下流のより小さな学生モデルを蒸留する。
- 参考スコア(独自算出の注目度): 35.380559538263455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) open up new horizons for sequential
recommendations, owing to their remarkable language comprehension and
generation capabilities. However, there are still numerous challenges that
should be addressed to successfully implement sequential recommendations
empowered by LLMs. Firstly, user behavior patterns are often complex, and
relying solely on one-step reasoning from LLMs may lead to incorrect or
task-irrelevant responses. Secondly, the prohibitively resource requirements of
LLM (e.g., ChatGPT-175B) are overwhelmingly high and impractical for real
sequential recommender systems. In this paper, we propose a novel Step-by-step
knowLedge dIstillation fraMework for recommendation (SLIM), paving a promising
path for sequential recommenders to enjoy the exceptional reasoning
capabilities of LLMs in a "slim" (i.e., resource-efficient) manner. We
introduce CoT prompting based on user behavior sequences for the larger teacher
model. The rationales generated by the teacher model are then utilized as
labels to distill the downstream smaller student model (e.g., LLaMA2-7B). In
this way, the student model acquires the step-by-step reasoning capabilities in
recommendation tasks. We encode the generated rationales from the student model
into a dense vector, which empowers recommendation in both ID-based and
ID-agnostic scenarios. Extensive experiments demonstrate the effectiveness of
SLIM over state-of-the-art baselines, and further analysis showcasing its
ability to generate meaningful recommendation reasoning at affordable costs.
- Abstract(参考訳): 大きな言語モデル(LLM)は、目立った言語理解と生成能力のために、シーケンシャルなレコメンデーションのための新しい地平を開く。
しかし、LLMによって強化されたシーケンシャルなレコメンデーションをうまく実装するには、まだ多くの課題がある。
第一に、ユーザ行動パターンはしばしば複雑で、LCMからのワンステップ推論のみに依存すると、誤った、あるいはタスク非関連な応答につながる可能性がある。
第二に、llm(例えばchatgpt-175b)のリソース要件は、実際の逐次レコメンデーションシステムにおいて圧倒的に高く、非実用的である。
本稿では,レコメンデーションのためのステップ・バイ・ステップのnowLedge dIstillation fraMework(SLIM)を提案する。
より大規模な教師モデルのためのユーザ行動系列に基づくCoTプロンプトを導入する。
教師モデルによって生成される理論的根拠は、下流のより小さな学生モデル(例えばLLaMA2-7B)を蒸留するためにラベルとして使用される。
このようにして、学生モデルはレコメンデーションタスクにおけるステップバイステップ推論能力を取得する。
学生モデルから生成した有理を高密度ベクトルにエンコードし、IDベースおよびID非依存のシナリオで推奨する。
SLIMが最先端のベースラインに対する効果を示し、さらに分析することで、安価なコストで有意義なレコメンデーション推論を生成する能力を示している。
関連論文リスト
- Unlocking the Potential of Large Language Models for Explainable
Recommendations [55.29843710657637]
説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。
本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。
いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
論文 参考訳(メタデータ) (2023-12-25T09:09:54Z) - Tuna: Instruction Tuning using Feedback from Large Language Models [74.04950416204551]
本稿では,新しいテキスト確率的ランキングとテキストコンテクスチュアルランキングを用いた命令調整型大規模言語モデルの微調整を提案する。
確率的ランク付けにより、教師のLCMから高品質で低品質なレスポンスの相対的なランク付けを継承することができる。
一方、文脈的ランキングを学習することで、より強いLLMの文脈的理解能力を用いて、モデルが独自の応答分布を洗練できる。
論文 参考訳(メタデータ) (2023-10-20T09:55:06Z) - LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。
我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。
ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
論文 参考訳(メタデータ) (2023-08-23T16:32:54Z) - ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential
Behavior Comprehension in Recommendation [44.89764672511655]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。
ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文 参考訳(メタデータ) (2023-08-22T02:25:04Z) - Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。
LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。
これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
論文 参考訳(メタデータ) (2023-05-15T17:57:39Z) - PALR: Personalization Aware LLMs for Recommendation [7.407353565043918]
PALRは、ユーザ履歴の振る舞い(クリック、購入、評価など)と大きな言語モデル(LLM)を組み合わせることで、ユーザの好むアイテムを生成することを目的としている。
我々のソリューションは、様々なシーケンシャルなレコメンデーションタスクにおいて最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2023-05-12T17:21:33Z) - Recommendation as Instruction Following: A Large Language Model
Empowered Recommendation Approach [83.62750225073341]
我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。
まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。
そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
論文 参考訳(メタデータ) (2023-05-11T17:39:07Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。