論文の概要: Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2408.11372v1
- Date: Wed, 21 Aug 2024 06:48:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 18:09:27.480195
- Title: Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation
- Title（参考訳）: 効率的なマルチビヘイビアシークエンシャルレコメンデーションのための事前学習とカスタマイズ型プロンプト学習
- Authors: Hao Wang, Yongqiang Han, Kefan Wang, Kai Cheng, Zhen Wang, Wei Guo, Yong Liu, Defu Lian, Enhong Chen,
- Abstract要約: マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
- 参考スコア（独自算出の注目度）: 69.60321475454843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of recommendation systems, users exhibit a diverse array of behaviors when interacting with items. This phenomenon has spurred research into learning the implicit semantic relationships between these behaviors to enhance recommendation performance. However, these methods often entail high computational complexity. To address concerns regarding efficiency, pre-training presents a viable solution. Its objective is to extract knowledge from extensive pre-training data and fine-tune the model for downstream tasks. Nevertheless, previous pre-training methods have primarily focused on single-behavior data, while multi-behavior data contains significant noise. Additionally, the fully fine-tuning strategy adopted by these methods still imposes a considerable computational burden. In response to this challenge, we propose DPCPL, the first pre-training and prompt-tuning paradigm tailored for Multi-Behavior Sequential Recommendation. Specifically, in the pre-training stage, we commence by proposing a novel Efficient Behavior Miner (EBM) to filter out the noise at multiple time scales, thereby facilitating the comprehension of the contextual semantics of multi-behavior sequences. Subsequently, we propose to tune the pre-trained model in a highly efficient manner with the proposed Customized Prompt Learning (CPL) module, which generates personalized, progressive, and diverse prompts to fully exploit the potential of the pre-trained model effectively. Extensive experiments on three real-world datasets have unequivocally demonstrated that DPCPL not only exhibits high efficiency and effectiveness, requiring minimal parameter adjustments but also surpasses the state-of-the-art performance across a diverse range of downstream tasks.
- Abstract（参考訳）: レコメンデーションシステムの領域では、ユーザーはアイテムと対話する際に様々な行動を示す。
この現象は、レコメンデーションパフォーマンスを高めるためにこれらの行動間の暗黙的な意味関係を学習する研究を刺激した。
しかし、これらの手法は高い計算複雑性を必要とすることが多い。
効率性に関する懸念に対処するために、事前学習は実行可能な解決策を提供する。
その目的は、広範囲な事前学習データから知識を抽出し、下流タスクのモデルを微調整することである。
それにもかかわらず、従来の事前学習手法は主に単一行動データに焦点を合わせており、マルチ行動データには大きなノイズが含まれている。
さらに、これらの手法で採用される完全な微調整戦略は、依然としてかなりの計算負担を課している。
この課題に対して、我々は、マルチビヘイビアシークエンシャルレコメンデーションに適した、最初の事前学習および即時学習パラダイムであるDPCPLを提案する。
具体的には、事前学習の段階では、複数の時間スケールでノイズをフィルタリングするために、新しい効率的な行動マイナー(EBM)を提案し、それによって複数の行動列の文脈意味論の理解を容易にする。
次に,事前学習モデルの有効性を効果的に活用するためのパーソナライズ,プログレッシブ,多様なプロンプトを生成するCustomized Prompt Learning (CPL)モジュールを提案する。
3つの実世界のデータセットに対する大規模な実験は、DPCPLが高い効率と有効性を示すだけでなく、パラメータ調整が最小限であるだけでなく、さまざまな下流タスクにおける最先端のパフォーマンスを超越することを示した。
関連論文リスト
- Task-Oriented Pre-Training for Drivable Area Detection [5.57325257338134]
本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。
次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。
このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
論文 参考訳（メタデータ） (2024-09-30T10:25:47Z) - Bucket Pre-training is All You Need [9.332544709626875]
大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。
文書の連結と分割を伴う事前学習のための従来の固定長データ合成戦略は、ノイズを導入し、長距離依存関係をキャプチャするモデルの能力を制限できる。
固定長のパラダイムを超えて,より柔軟で効率的な事前学習手法を提供するマルチポケットデータ合成手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T09:27:23Z) - Efficient Remote Sensing with Harmonized Transfer Learning and Modality Alignment [0.0]
ハーモナイズドトランスファーラーニングとモダリティアライメント(HarMA)は,タスク制約,モダリティアライメント,単一モダリティアライメントを同時に満足する手法である。
HarMAはリモートセンシング分野における2つの一般的なマルチモーダル検索タスクにおいて最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-04-28T17:20:08Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Dynamic Sparse Learning: A Novel Paradigm for Efficient Recommendation [20.851925464903804]
本稿では,リコメンデーションモデルに適した新しい学習パラダイムであるDynamic Sparse Learningを紹介する。
DSLは革新的に、スクラッチから軽量スパースモデルをトレーニングし、各ウェイトの重要性を定期的に評価し、動的に調整する。
実験結果は、DSLの有効性を裏付け、トレーニングと推論のコストを大幅に削減し、同等のレコメンデーションパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-02-05T10:16:20Z) - A Supervised Contrastive Learning Pretrain-Finetune Approach for Time
Series [15.218841180577135]
本稿では,教師付きコントラスト学習を利用して,事前学習データセット内の特徴を識別する新しい事前学習手法を提案する。
次に、事前学習データセットの学習力学とより密に連携することで、目標データの正確な予測を強化するための微調整手順を提案する。
論文 参考訳（メタデータ） (2023-11-21T02:06:52Z) - Towards All-in-one Pre-training via Maximizing Multi-modal Mutual
Information [77.80071279597665]
マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。
提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-11-17T18:59:49Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-12T04:42:49Z) - APS: Active Pretraining with Successor Features [96.24533716878055]
非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。
提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
論文 参考訳（メタデータ） (2021-08-31T16:30:35Z) - Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less
Forgetting [66.45372974713189]
本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。
実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。
我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
論文 参考訳（メタデータ） (2020-04-27T08:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。