論文の概要: PCL: Prompt-based Continual Learning for User Modeling in Recommender Systems

• arxiv url: http://arxiv.org/abs/2502.19628v1
• Date: Wed, 26 Feb 2025 23:47:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:55:30.780718
• Title: PCL: Prompt-based Continual Learning for User Modeling in Recommender Systems
• Title（参考訳）: PCL:Recommenderシステムにおけるユーザモデリングのためのプロンプトベース連続学習
• Authors: Mingdai Yang, Fan Yang, Yanhui Guo, Shaoyuan Xu, Tianchen Zhou, Yetian Chen, Simone Shao, Jia Liu, Yan Gao,
• Abstract要約: 本稿では,各タスクの外部メモリとして位置対応プロンプトを利用する,ユーザモデリングのためのPromptベースの連続学習フレームワークを提案する。 我々は,PCLの有効性を示すために,実世界のデータセットに関する広範な実験を行った。
• 参考スコア（独自算出の注目度）: 14.865675196583334
• License:
• Abstract: User modeling in large e-commerce platforms aims to optimize user experiences by incorporating various customer activities. Traditional models targeting a single task often focus on specific business metrics, neglecting the comprehensive user behavior, and thus limiting their effectiveness. To develop more generalized user representations, some existing work adopts Multi-task Learning (MTL)approaches. But they all face the challenges of optimization imbalance and inefficiency in adapting to new tasks. Continual Learning (CL), which allows models to learn new tasks incrementally and independently, has emerged as a solution to MTL's limitations. However, CL faces the challenge of catastrophic forgetting, where previously learned knowledge is lost when the model is learning the new task. Inspired by the success of prompt tuning in Pretrained Language Models (PLMs), we propose PCL, a Prompt-based Continual Learning framework for user modeling, which utilizes position-wise prompts as external memory for each task, preserving knowledge and mitigating catastrophic forgetting. Additionally, we design contextual prompts to capture and leverage inter-task relationships during prompt tuning. We conduct extensive experiments on real-world datasets to demonstrate PCL's effectiveness.
• Abstract（参考訳）: 大規模なeコマースプラットフォームにおけるユーザモデリングは、さまざまな顧客活動を統合することで、ユーザエクスペリエンスを最適化することを目的としている。 単一のタスクをターゲットとする従来のモデルは、しばしば特定のビジネスメトリクスに焦点を合わせ、包括的なユーザの振る舞いを無視し、その結果、その効果を制限します。 より一般化されたユーザ表現を開発するために、既存の作業ではMulti-task Learning (MTL)approachesを採用している。 しかし、それらはすべて、新しいタスクに適応する際の最適化の不均衡と非効率性の課題に直面します。 モデルが新たなタスクを段階的かつ独立的に学習することを可能にする連続学習(CL)が、MLLの制限に対する解決策として登場した。 しかし、CLは、モデルが新しいタスクを学習しているときに、以前に学んだ知識が失われるという破滅的な忘れ込みの課題に直面している。 プレトレーニング言語モデル(PLM)における即時チューニングの成功に触発されて,各タスクの外部メモリとして位置対応プロンプトを活用し,知識の保存と破滅的な忘れの軽減を図った,ユーザモデリングのためのPromptベースの連続学習フレームワークであるPCLを提案する。 さらに,プロンプトチューニング中にタスク間関係を捕捉・活用するための文脈的プロンプトを設計する。 我々は,PCLの有効性を示すために,実世界のデータセットに関する広範な実験を行った。

関連論文リスト

• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Modality-Inconsistent Continual Learning of Multimodal Large Language Models [37.15220266767881]
  マルチモーダル大言語モデル(MLLM)のための新しい連続学習シナリオであるMICL(Modality-Inconsistent Continual Learning)を導入する。 既存の視覚のみやモダリティの増分設定とは異なり、MICLはモダリティとタスクタイプのシフトを組み合わせており、どちらも破滅的な忘れを招いている。 本稿では, Pseudo Targets Generation Module を用いて, 以前見られたタスクタイプシフトによる忘れを軽減した MoInCL を提案する。
  論文  参考訳（メタデータ） (2024-12-17T16:13:56Z)
• Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。 これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。 本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
  論文  参考訳（メタデータ） (2024-11-30T07:21:02Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Fully Fine-tuned CLIP Models are Efficient Few-Shot Learners [8.707819647492467]
  視覚言語モデル全体(VLM)の精巧な精細化によるタスク固有情報の取得について検討する。 これらの問題を緩和するために,識別的視覚テキストタスクを設計するCLIP-CITEというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-04T15:22:54Z)
• Learn it or Leave it: Module Composition and Pruning for Continual Learning [48.07144492109635]
  MoCL-Pは知識統合と計算オーバーヘッドのバランスをとる軽量な連続学習手法である。 評価の結果,MoCL-Pは最先端性能を実現し,パラメータ効率を最大3倍向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T19:18:28Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model [121.23360004498893]
  逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。 従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
  論文  参考訳（メタデータ） (2024-03-13T08:54:31Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Task Relation-aware Continual User Representation Learning [26.514449669395297]
  ユーザモデリングにおけるこれまでの取り組みは、主に1つのタスク用に設計されたタスク固有のユーザ表現の学習に焦点を当てていた。 近年の研究では、様々なタスクに関連するユーザのより一般化された表現であるユニバーサルユーザ表現の概念が紹介されている。 その効果にもかかわらず、普遍的なユーザ表現を学習するための既存のアプローチは、現実世界のアプリケーションでは実用的ではない。 本稿では,学習タスク数が増加するにつれて,学習能力が制限されない,TERACONと呼ばれる新しい連続的ユーザ表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T08:10:03Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。