論文の概要: RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based
Recommendation
- arxiv url: http://arxiv.org/abs/2402.04527v1
- Date: Wed, 7 Feb 2024 02:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 17:06:36.580537
- Title: RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based
Recommendation
- Title(参考訳): RA-Rec: LLMに基づくレコメンデーションのための効率的なID表現アライメントフレームワーク
- Authors: Xiaohan Yu, Li Zhang, Xin Zhao, Yue Wang, Zhongrui Ma
- Abstract要約: LLMに基づくレコメンデーションのための効率的なID表現フレームワークであるRA-Recを提案する。
RA-Recは最先端のメソッドを大幅に上回り、最大3.0%のHitRate@100の改善を実現している。
- 参考スコア(独自算出の注目度): 10.305878081909743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLM) have recently emerged as a powerful tool for a
variety of natural language processing tasks, bringing a new surge of combining
LLM with recommendation systems, termed as LLM-based RS. Current approaches
generally fall into two main paradigms, the ID direct usage paradigm and the ID
translation paradigm, noting their core weakness stems from lacking
recommendation knowledge and uniqueness. To address this limitation, we propose
a new paradigm, ID representation, which incorporates pre-trained ID embeddings
into LLMs in a complementary manner. In this work, we present RA-Rec, an
efficient ID representation alignment framework for LLM-based recommendation,
which is compatible with multiple ID-based methods and LLM architectures.
Specifically, we treat ID embeddings as soft prompts and design an innovative
alignment module and an efficient tuning method with tailored data construction
for alignment. Extensive experiments demonstrate RA-Rec substantially
outperforms current state-of-the-art methods, achieving up to 3.0% absolute
HitRate@100 improvements while utilizing less than 10x training data.
- Abstract(参考訳): 大規模言語モデル(LLM)は、最近、様々な自然言語処理タスクのための強力なツールとして登場し、LLMベースのRSと呼ばれるレコメンデーションシステムとLLMを組み合わせる、新たな飛躍をもたらした。
現在のアプローチは一般的に、ID直接利用パラダイムとID翻訳パラダイムという2つの主要なパラダイムに分類される。
この制限に対処するために,LLMに事前学習したIDを組み込んだID表現という新しいパラダイムを提案する。
本稿では,複数のIDベースの手法やLLMアーキテクチャと互換性のあるLLMレコメンデーションのための効率的なID表現アライメントフレームワークであるRA-Recを提案する。
具体的には,ID埋め込みをソフトプロンプトとして扱い,新しいアライメントモジュールとアライメントに適したデータ構造を持つ効率的なチューニング手法を設計する。
大規模な実験では、RA-Recが現在の最先端メソッドを大幅に上回り、最大3.0%のHitRate@100の改善を達成し、10倍のトレーニングデータを活用する。
関連論文リスト
- Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction [12.455647753787442]
抽出・デファイン・カノニケーズ(EDC)という3相フレームワークを提案する。
EDCはフレキシブルで、事前に定義されたターゲットスキーマが利用可能で、そうでない場合に適用される。
我々は、3つのKGCベンチマークで、ECCはパラメータチューニングなしで高品質な三重項を抽出できることを示した。
論文 参考訳(メタデータ) (2024-04-05T02:53:51Z) - Aligner: One Global Token is Worth Millions of Parameters When Aligning
Large Language Models [72.26732961610557]
私たちは小説『アリグナー』を紹介します。
マルチビリオンパラメータサイズ大言語モデル(LLM)の整列のためのPEFT法
Alignerは、数百万のパラメータを必要とするLoRAのような最先端のLLM適応手法に対して、相容れない性能を保てることを示す。
論文 参考訳(メタデータ) (2023-12-09T08:25:55Z) - E4SRec: An Elegant Effective Efficient Extensible Solution of Large
Language Models for Sequential Recommendation [30.16954700102393]
シークエンシャルレコメンデーション(E4SRec)のための大規模言語モデルに対するエレガント効果的な効率的な拡張性ソリューションを提案する。
E4SRecは、アイテムを表現するためにIDのみを使用する従来のレコメンデータシステムと、Large Language Modelsをシームレスに統合する。
論文 参考訳(メタデータ) (2023-12-05T02:50:18Z) - LlamaRec: Two-Stage Recommendation using Large Language Models for
Ranking [10.671747198171136]
ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。
特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。
LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
論文 参考訳(メタデータ) (2023-10-25T06:23:48Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential
Behavior Comprehension in Recommendation [44.89764672511655]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。
ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文 参考訳(メタデータ) (2023-08-22T02:25:04Z) - Generating Efficient Training Data via LLM-based Attribute Manipulation [25.31066359340154]
そこで本稿では,CoTAM (Chain-of-Thoughts Attribute Manipulation) という新しい手法を提案する。
顔属性の操作にインスパイアされた本手法は,大規模言語モデルを用いてラベル変更データを生成する。
論文 参考訳(メタデータ) (2023-07-14T00:10:03Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z) - Towards Universal Sequence Representation Learning for Recommender
Systems [98.02154164251846]
我々はUniSRecという新しいユニバーサルシーケンス表現学習手法を提案する。
提案手法は、項目の関連記述テキストを用いて、異なる推薦シナリオ間で転送可能な表現を学習する。
我々のアプローチは、パラメータ効率のよい方法で、新しいレコメンデーションドメインやプラットフォームに効果的に移行できます。
論文 参考訳(メタデータ) (2022-06-13T07:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。