論文の概要: Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training

• arxiv url: http://arxiv.org/abs/2504.08949v1
• Date: Fri, 11 Apr 2025 20:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:45.252832
• Title: Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training
• Title（参考訳）: 大規模言語モデルを活用したレコメンデーション
• Authors: Haokai Ma, Yunshan Ma, Ruobing Xie, Lei Meng, Jialie Shen, Xingwu Sun, Zhanhui Kang, Tat-Seng Chua,
• Abstract要約: CPRecは、レコメンデーションのための全ドメイン連続事前トレーニングフレームワークである。 LLMを連続的な事前学習パラダイムを通じて、普遍的なユーザ行動と整合させる。 2つの異なるプラットフォームから5つの実世界のデータセットを実験する。
• 参考スコア（独自算出の注目度）: 60.38082979765664
• License:
• Abstract: Recent research efforts have investigated how to integrate Large Language Models (LLMs) into recommendation, capitalizing on their semantic comprehension and open-world knowledge for user behavior understanding. These approaches predominantly employ supervised fine-tuning on single-domain user interactions to adapt LLMs for specific recommendation tasks. However, they typically encounter dual challenges: the mismatch between general language representations and domain-specific preference patterns, as well as the limited adaptability to multi-domain recommendation scenarios. To bridge these gaps, we introduce CPRec -- an All-domain Continual Pre-Training framework for Recommendation -- designed to holistically align LLMs with universal user behaviors through the continual pre-training paradigm. Specifically, we first design a unified prompt template and organize users' multi-domain behaviors into domain-specific behavioral sequences and all-domain mixed behavioral sequences that emulate real-world user decision logic. To optimize behavioral knowledge infusion, we devise a Warmup-Stable-Annealing learning rate schedule tailored for the continual pre-training paradigm in recommendation to progressively enhance the LLM's capability in knowledge adaptation from open-world knowledge to universal recommendation tasks. To evaluate the effectiveness of our CPRec, we implement it on a large-scale dataset covering seven domains and conduct extensive experiments on five real-world datasets from two distinct platforms. Experimental results confirm that our continual pre-training paradigm significantly mitigates the semantic-behavioral discrepancy and achieves state-of-the-art performance in all recommendation scenarios. The source code will be released upon acceptance.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) のレコメンデーションへの統合に関する研究が進められており,ユーザ行動理解のためのセマンティック理解とオープンワールド知識を活用している。 これらのアプローチは主に、特定のレコメンデーションタスクにLLMを適用するために、単一ドメインのユーザインタラクションを教師付き微調整する。 一般的な言語表現とドメイン固有の好みパターンのミスマッチと、マルチドメインレコメンデーションシナリオへの適応性に制限があることだ。 これらのギャップを埋めるために、私たちはCPRecを紹介します。CPRec - 推奨のための全ドメイン連続事前学習フレームワークで、継続事前学習パラダイムを通じてLLMを普遍的なユーザ行動に整合させるように設計されています。 具体的には、まず統一的なプロンプトテンプレートを設計し、実際のユーザ決定ロジックをエミュレートするドメイン固有の動作シーケンスと全ドメイン混合動作シーケンスに、ユーザのマルチドメイン動作を整理する。 行動知識の注入を最適化するために、オープンワールド知識からユニバーサルレコメンデーションタスクへの知識適応におけるLLMの能力の段階的向上を図るために、継続事前学習パラダイムに適したウォームアップ・スタブル・アニーリング学習率スケジュールを考案する。 CPRecの有効性を評価するため、我々は7つのドメインをカバーする大規模なデータセット上に実装し、2つの異なるプラットフォームから5つの実世界のデータセットに対して広範な実験を行った。 実験の結果、我々の継続事前学習パラダイムは、セマンティックビヘイビアの相違を著しく軽減し、すべてのレコメンデーションシナリオで最先端のパフォーマンスを達成することが確認された。 ソースコードは受理時に公開される。

関連論文リスト

• MoLoRec: A Generalizable and Efficient Framework for LLM-Based Recommendation [48.27058675713025]
  汎用的で効率的なLLMベースのレコメンデーションフレームワークMoLoRecを提案する。 提案手法は,一般勧告データを用いたドメインジェネラルモジュールをパラメータ効率で微調整することから始める。 上記のドメイン一般部分とドメイン特化部分とをパラメータの混合と統合するためのアプローチを提供する。
  論文  参考訳（メタデータ） (2025-02-12T10:24:22Z)
• Semantic Convergence: Harmonizing Recommender Systems via Two-Stage Alignment and Behavioral Semantic Tokenization [10.47505806629852]
  大規模言語モデル(LLM)は、歴史的行動からユーザの深い関心を識別する能力を持っている。 従来のレコメンデーションモデルとLLMの長所を調和的に融合する新しいフレームワークを提案する。 我々は、協調的な信号と自然言語意味論の微妙さを整合させることを目的とした、教師付き学習タスクのシリーズを設計する。
  論文  参考訳（メタデータ） (2024-12-18T12:07:58Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Large Language Models for Intent-Driven Session Recommendations [34.64421003286209]
  大規模言語モデル(LLM)の高度な推論機能を活用した新しいISR手法を提案する。 本稿では,プロンプトを反復的に自己表現し,調整するイノベーティブなプロンプト最適化機構を提案する。 この新たなパラダイムは、LLMに対して、さまざまなユーザ意図をセマンティックレベルで識別する権限を与え、より正確で解釈可能なセッションレコメンデーションをもたらす。
  論文  参考訳（メタデータ） (2023-12-07T02:25:14Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Pre-trained Recommender Systems: A Causal Debiasing Perspective [19.712997823535066]
  本研究では,異なるドメインから抽出した汎用ユーザ・イテムインタラクションデータをトレーニングすることで,ユニバーサルインタラクションパターンをキャプチャする汎用レコメンデータを開発する。 実験により,提案モデルにより,ゼロショットと少数ショットの学習環境での推薦性能が大幅に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T03:37:32Z)
• Diverse Preference Augmentation with Multiple Domains for Cold-start Recommendations [92.47380209981348]
  メタラーニングをベースとした多元的ドメインを用いた多元的推論拡張フレームワークを提案する。 我々は、疎結合の場合の過度な適合を扱うために、新しい関心領域において多様な評価を生成する。 これらの評価は、選好メタラーナーを学ぶためのメタトレーニング手順に導入され、優れた一般化能力が得られる。
  論文  参考訳（メタデータ） (2022-04-01T10:10:50Z)
• Generalization Guarantees for Imitation Learning [6.542289202349586]
  模倣学習からの制御ポリシーは、しばしば新しい環境への一般化に失敗する。 本稿では,PAC-Bayesフレームワークを利用した模倣学習のための厳密な一般化保証を提案する。
  論文  参考訳（メタデータ） (2020-08-05T03:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。