論文の概要: A Pre-trained Sequential Recommendation Framework: Popularity Dynamics for Zero-shot Transfer

• arxiv url: http://arxiv.org/abs/2401.01497v4
• Date: Fri, 25 Oct 2024 01:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 12:02:02.780069
• Title: A Pre-trained Sequential Recommendation Framework: Popularity Dynamics for Zero-shot Transfer
• Title（参考訳）: 事前学習型シーケンスレコメンデーションフレームワーク:ゼロショット転送のための人気ダイナミクス
• Authors: Junting Wang, Praneet Rathi, Hari Sundaram,
• Abstract要約: オンラインアプリケーションの成功には、シーケンシャルなレコメンデーターが不可欠だ。 本稿では,事前学習型シーケンシャルレコメンデーションフレームワークPrepRecを提案する。 PrepRecは、最先端のシーケンシャルレコメンデータモデルと比較して、競争性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 3.987215131970378
• License:
• Abstract: Sequential recommenders are crucial to the success of online applications, \eg e-commerce, video streaming, and social media. While model architectures continue to improve, for every new application domain, we still have to train a new model from scratch for high quality recommendations. On the other hand, pre-trained language and vision models have shown great success in zero-shot or few-shot adaptation to new application domains. Inspired by the success of pre-trained models in peer AI fields, we propose a novel pre-trained sequential recommendation framework: PrepRec. We learn universal item representations by modeling item popularity dynamics. Through extensive experiments on five real-world datasets, we show that PrepRec, without any auxiliary information, can not only zero-shot transfer to a new domain, but achieve competitive performance compared to state-of-the-art sequential recommender models with only a fraction of the model size. In addition, with a simple post-hoc interpolation, PrepRec can improve the performance of existing sequential recommenders on average by 13.8\% in Recall@10 and 29.5% in NDCG@10. We provide an anonymized implementation of PrepRec at https://anonymous.4open.science/r/PrepRec--2F60/
• Abstract（参考訳）: オンラインアプリケーションの成功には、eコマース、ビデオストリーミング、ソーシャルメディアなど、シークエンシャルなレコメンデーションが不可欠だ。 モデルアーキテクチャは改善を続けていますが、すべての新しいアプリケーションドメインでは、高品質なレコメンデーションのために、スクラッチから新しいモデルをトレーニングする必要があります。 一方、事前訓練された言語とビジョンモデルは、新しいアプリケーションドメインへのゼロショットまたは少数ショット適応において大きな成功を収めている。 ピアAI分野における事前学習モデルの成功に触発されて、我々は新しい事前学習シーケンシャルレコメンデーションフレームワーク、PrepRecを提案する。 我々は、アイテムの人気動態をモデル化することで、普遍的なアイテム表現を学習する。 5つの実世界のデータセットに関する広範な実験を通して、PrepRecは補助情報なしで、新しいドメインへのゼロショット転送が可能なだけでなく、モデルサイズのごく一部しか持たない最先端のシーケンシャルレコメンデータモデルと比較して、競合的な性能が得られることを示した。 さらに、簡単なポストホック補間により、PrepRecはRecall@10では平均13.8\%、NDCG@10では29.5%の性能を向上させることができる。 https://anonymous.4open.science/r/PrepRec--2F60/でPrepRecの匿名化実装を提供する。

関連論文リスト

• No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
  マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。 本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
  論文  参考訳（メタデータ） (2024-04-04T17:58:02Z)
• StochCA: A Novel Approach for Exploiting Pretrained Models with Cross-Attention [2.66269503676104]
  トランスフォーマーアーキテクチャに特有なクロスアテンション(StochCA)と呼ばれる新しい微調整手法を提案する。 この方法はトランスフォーマーの自己保持機構を変更し、微調整中に事前学習したモデルからの知識を選択的に活用する。 両領域の最先端アプローチに対するStochCAの優位性について検討した。
  論文  参考訳（メタデータ） (2024-02-25T13:53:49Z)
• Dynamic Collaborative Filtering for Matrix- and Tensor-based Recommender Systems [5.1148288291550505]
  我々は、TIRecAとして知られる逐次問題に対する新しい協調フィルタリングモデルを提案する。 TIRecAは、新しいデータセグメントのみを使用してパラメータを効率的に更新し、リコメンダシステムに新たなユーザとアイテムをインクリメンタルに追加することができる。 一般行列とテンソルベースラインとの比較から,TIRecAはトレーニング時間において10～20倍高速でありながら,ベースライン法に匹敵する品質を達成できることが判明した。
  論文  参考訳（メタデータ） (2023-12-04T20:45:51Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
  我々は2つの人気のある更新手法、微調整と線形探索を比較した。 試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T08:47:06Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。