論文の概要: MoLoRec: A Generalizable and Efficient Framework for LLM-Based Recommendation

• arxiv url: http://arxiv.org/abs/2502.08271v1
• Date: Wed, 12 Feb 2025 10:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:23.266343
• Title: MoLoRec: A Generalizable and Efficient Framework for LLM-Based Recommendation
• Title（参考訳）: MoLoRec: LLMベースのレコメンデーションのための汎用的で効率的なフレームワーク
• Authors: Min Hou, Chenxi Bai, Le Wu, Hao Liu, Kun Zhang, Kai Zhang, Richang Hong, Meng Wang,
• Abstract要約: 汎用的で効率的なLLMベースのレコメンデーションフレームワークMoLoRecを提案する。 提案手法は,一般勧告データを用いたドメインジェネラルモジュールをパラメータ効率で微調整することから始める。 上記のドメイン一般部分とドメイン特化部分とをパラメータの混合と統合するためのアプローチを提供する。
• 参考スコア（独自算出の注目度）: 48.27058675713025
• License:
• Abstract: Large Language Models (LLMs) have achieved remarkable success in recent years, owing to their impressive generalization capabilities and rich world knowledge. To capitalize on the potential of using LLMs as recommender systems, mainstream approaches typically focus on two paradigms. The first paradigm designs multi-domain or multi-task instruction data for generalizable recommendation, so as to align LLMs with general recommendation areas and deal with cold-start recommendation. The second paradigm enhances domain-specific recommendation tasks with parameter-efficient fine-tuning techniques, in order to improve models under the warm recommendation scenarios. While most previous works treat these two paradigms separately, we argue that they have complementary advantages, and combining them together would be helpful. To that end, in this paper, we propose a generalizable and efficient LLM-based recommendation framework MoLoRec. Our approach starts by parameter-efficient fine-tuning a domain-general module with general recommendation instruction data, to align LLM with recommendation knowledge. Then, given users' behavior of a specific domain, we construct a domain-specific instruction dataset and apply efficient fine-tuning to the pre-trained LLM. After that, we provide approaches to integrate the above domain-general part and domain-specific part with parameters mixture. Please note that, MoLoRec is efficient with plug and play, as the domain-general module is trained only once, and any domain-specific plug-in can be efficiently merged with only domain-specific fine-tuning. Extensive experiments on multiple datasets under both warm and cold-start recommendation scenarios validate the effectiveness and generality of the proposed MoLoRec.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、その顕著な一般化能力と豊かな世界知識により、近年で顕著な成功を収めている。 LLMをレコメンデーションシステムとして使う可能性を活かすため、主流のアプローチは2つのパラダイムに重点を置いている。 最初のパラダイムは、LLMを一般的なレコメンデーション領域と整合させ、コールドスタートレコメンデーションを扱うために、一般化可能なレコメンデーションのために、マルチドメインまたはマルチタスクのインストラクションデータを設計する。 第2のパラダイムは、暖かい推奨シナリオの下でモデルを改善するために、パラメータ効率の良い微調整技術でドメイン固有のレコメンデーションタスクを強化する。 これまでのほとんどの研究はこれら2つのパラダイムを別々に扱うが、これらには相補的な利点があり、それらを組み合わせることが有用である、と我々は主張する。 そこで本研究では,汎用的で効率的なLLMベースのレコメンデーションフレームワークMoLoRecを提案する。 提案手法は,LLMとレコメンデーション知識を整合させるため,一般的なレコメンデーションインストラクションデータを用いたドメインジェネラルモジュールの微調整から始まる。 そして、特定のドメインのユーザの振る舞いを考慮し、ドメイン固有の命令データセットを構築し、事前学習されたLLMに効率的な微調整を適用する。 その後、上記のドメイン・ジェネラルな部分とドメイン固有の部分とパラメータの混合を統合するアプローチを提供します。 ドメイン・ジェネラル・モジュールは一度だけトレーニングされ、ドメイン固有のプラグインはドメイン固有の微調整のみと効率的にマージできるため、MoLoRecはプラグインとプレイで効率的です。 ウォームスタートとコールドスタートの両方のレコメンデーションシナリオ下での複数のデータセットに対する大規模な実験は、提案したMoLoRecの有効性と汎用性を検証する。

関連論文リスト

• HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling [21.495443162191332]
  大規模言語モデル(LLM)は様々な分野で顕著な成功を収めており、いくつかの研究がレコメンデーションシステムにおいてその可能性を探求している。 逐次レコメンデーションシステムを強化するために,新しい階層型大規模言語モデル (HLLM) アーキテクチャを提案する。 HLLMは,項目特徴抽出とユーザ関心モデリングの両方に 7B パラメータを利用する構成で,優れたスケーラビリティを実現している。
  論文  参考訳（メタデータ） (2024-09-19T13:03:07Z)
• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation [18.986613405565514]
  大規模言語モデル(LLM)は、シーケンシャルなレコメンデーションのために大量のテキストコーパスで事前訓練される。 本稿では,2つの対照的な損失と言語モデリング損失を混合して,事前学習したLLMを2tower方式で微調整する2段階のLLMファインタニングフレームワークを提案する。 我々のモデルは、多くの最先端のベースラインを著しく上回ります。
  論文  参考訳（メタデータ） (2024-05-03T18:51:19Z)
• Improving Sequential Recommendations with LLMs [8.819438328085925]
  大規模言語モデル(LLM)は、シーケンシャルなレコメンデーションアプローチの構築や改善に使用することができる。 我々は3つのデータセットについて広範囲に実験を行い、それぞれのアプローチの性能を網羅した画像を得る。
  論文  参考訳（メタデータ） (2024-02-02T11:52:07Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation [60.2700801392527]
  我々は,協調情報をLLMにシームレスに組み込んでレコメンデーションを行う,革新的なLLMRec手法であるCoLLMを紹介する。 CoLLMは、外部の伝統的なモデルを通して協調情報をキャプチャし、LLMの入力トークン埋め込み空間にマッピングする。 大規模な実験により、CoLLMはLLMに協調情報を包括的に統合し、レコメンデーション性能が向上することが確認された。
  論文  参考訳（メタデータ） (2023-10-30T12:25:00Z)
• One Model for All: Large Language Models are Domain-Agnostic Recommendation Systems [43.79001185418127]
  本稿では,事前学習された大規模言語モデル(LLM)をドメインに依存しない推薦に利用するフレームワークを提案する。 具体的には、複数のドメインやアイテムタイトルからのユーザの振る舞いを文に混ぜて、ユーザとアイテムの表現を生成するためにLLMを使用する。
  論文  参考訳（メタデータ） (2023-10-22T13:56:14Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。