論文の概要: CoRA: Collaborative Information Perception by Large Language Model's Weights for Recommendation

• arxiv url: http://arxiv.org/abs/2408.10645v3
• Date: Fri, 25 Oct 2024 10:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 06:33:41.989433
• Title: CoRA: Collaborative Information Perception by Large Language Model's Weights for Recommendation
• Title（参考訳）: CoRA:大規模言語モデルの推薦重みによる協調的情報知覚
• Authors: Yuting Liu, Jinghao Zhang, Yizhou Dang, Yuliang Liang, Qiang Liu, Guibing Guo, Jianzhe Zhao, Xingwei Wang,
• Abstract要約: LLM(Large Language Models)における協調情報の導入は,LLMを推奨に適応させる上で有望な手法である。 既存の手法では、テキストトークンと協調的な特徴を統一シーケンス入力に結合することでこれを実現する。 協調的なクエリジェネレータを備えた新しいパラダイムである textbfCollaborative textbfLoRA を提案する。
• 参考スコア（独自算出の注目度）: 13.867950651601483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Involving collaborative information in Large Language Models (LLMs) is a promising technique for adapting LLMs for recommendation. Existing methods achieve this by concatenating collaborative features with text tokens into a unified sequence input and then fine-tuning to align these features with LLM's input space. Although effective, in this work, we identify two limitations when adapting LLMs to recommendation tasks, which hinder the integration of general knowledge and collaborative information, resulting in sub-optimal recommendation performance. (1) Fine-tuning LLM with recommendation data can undermine its inherent world knowledge and fundamental competencies, which are crucial for interpreting and inferring recommendation text. (2) Incorporating collaborative features into textual prompts disrupts the semantics of the original prompts, preventing LLM from generating appropriate outputs. In this paper, we propose a new paradigm, \textbf{Co}llaborative \textbf{Lo}RA (CoRA), with a collaborative query generator. Rather than input space alignment, this method aligns collaborative information with LLM's parameter space, representing them as incremental weights to update LLM's output. This way, LLM perceives collaborative information without altering its general knowledge and text inference capabilities. Specifically, we employ a collaborative filtering model to extract user and item embeddings and inject them into a set number of learnable queries. We then convert collaborative queries into collaborative weights with low-rank properties and merge the collaborative weights into LLM's weights, enabling LLM to perceive the collaborative signals and generate personalized recommendations without fine-tuning or extra collaborative tokens in prompts. Extensive experiments confirm that CoRA effectively integrates collaborative information into LLM, enhancing recommendation performance.
• Abstract（参考訳）: LLM(Large Language Models)における協調情報の導入は,LLMを推奨に適応させる上で有望な手法である。 既存の手法では、テキストトークンと協調した特徴を統一シーケンス入力に結合し、それらの特徴をLSMの入力空間と整列するように微調整する。 本研究では,LLMをレコメンデーションタスクに適応する際の2つの制限を同定し,汎用知識と協調情報の統合を阻害し,準最適レコメンデーション性能をもたらす。 1)レコメンデーションデータを用いた微調整LDMは,レコメンデーションテキストの解釈や推論に不可欠である,固有の世界知識や基本的な能力を損なう可能性がある。 2)コラボレーティブな特徴をテキストプロンプトに組み込むことは,本来のプロンプトの意味を乱し,LLMが適切な出力を生成するのを防ぐ。 本稿では,コラボレーティブなクエリジェネレータを備えた新しいパラダイムである \textbf{Co}llaborative \textbf{Lo}RA (CoRA) を提案する。 入力空間アライメントではなく、LLMのパラメータ空間と協調情報を整列し、LSMの出力を更新するためのインクリメンタルウェイトとして表現する。 このようにして、LLMは、一般的な知識やテキスト推論能力を変えることなく、協調情報を知覚する。 具体的には、ユーザとアイテムの埋め込みを抽出し、学習可能なクエリのセットに注入するために、協調フィルタリングモデルを用いる。 次に、協調クエリを低ランク特性の協調重みに変換し、協調重みをLLMの重みにマージし、LLMが協調信号を知覚し、微調整や余分な協調トークンなしでパーソナライズされたレコメンデーションを生成することを可能にする。 大規模な実験により、コラボレーティブ情報がLLMに効果的に統合され、レコメンデーション性能が向上することが確認された。

関連論文リスト

• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding [19.510385758079966]
  リアルタイムScene Recommendation(LARR)を用いた大規模言語モデル 本稿では,Large Language Model Aided Real-time Scene Recommendation(LARR)を紹介する。
  論文  参考訳（メタデータ） (2024-08-21T10:56:26Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Text-like Encoding of Collaborative Information in Large Language Models for Recommendation [58.87865271693269]
  BinLLMはLarge Language Models for Recommendation (LLMRec)とシームレスに連携する新しい手法である。 BinLLMは、外部モデルからの協調的な埋め込みをバイナリシーケンスに変換する。 BinLLMは、ドット決定記法を用いてバイナリシーケンスを圧縮するオプションを提供し、過度に長い長さを避ける。
  論文  参考訳（メタデータ） (2024-06-05T12:45:25Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve Long-tail Recommendation [34.29410946387975]
  我々は,協調的な証拠を直接プロンプトに組み込む共同検索強化型LLM,CoRALを紹介した。 LLMは、ユーザ間の共有や個別の好みを分析し、特定のアイテムにどのタイプのユーザが惹かれるかを示すパターンを要約することができる。 実験の結果,コラルは特定のレコメンデーションタスクにおけるLLMの推論能力を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-03-11T05:49:34Z)
• CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation [60.2700801392527]
  我々は,協調情報をLLMにシームレスに組み込んでレコメンデーションを行う,革新的なLLMRec手法であるCoLLMを紹介する。 CoLLMは、外部の伝統的なモデルを通して協調情報をキャプチャし、LLMの入力トークン埋め込み空間にマッピングする。 大規模な実験により、CoLLMはLLMに協調情報を包括的に統合し、レコメンデーション性能が向上することが確認された。
  論文  参考訳（メタデータ） (2023-10-30T12:25:00Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。