論文の概要: A Novel Mamba-based Sequential Recommendation Method

• arxiv url: http://arxiv.org/abs/2504.07398v1
• Date: Thu, 10 Apr 2025 02:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:22:01.372277
• Title: A Novel Mamba-based Sequential Recommendation Method
• Title（参考訳）: 新しいマンバ型シークエンシャルレコメンデーション法
• Authors: Jun Yuan,
• Abstract要約: 逐次レコメンデーション(SR)は、次のアクションを予測するためにユーザアクティビティをエンコードする。 トランスフォーマーベースのモデルはシーケンシャルレコメンデーションに有効であることが証明されているが、トランスフォーマーにおける自己アテンションモジュールの複雑さは、シーケンス長と2次にスケールする。 複数の低次元マンバ層と完全連結層を用いる新しいマルチヘッド潜在マンバアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 4.941272356564765
• License:
• Abstract: Sequential recommendation (SR), which encodes user activity to predict the next action, has emerged as a widely adopted strategy in developing commercial personalized recommendation systems. Although Transformer-based models have proven effective for sequential recommendation, the complexity of the self-attention module in Transformers scales quadratically with the sequence length. Controlling model complexity is essential for large-scale recommendation systems, as these systems may need to handle billion-scale vocabularies that evolve continuously, as well as user behavior sequences that can exceed tens of thousands in length. In this paper, we propose a novel multi-head latent Mamba architecture, which employs multiple low-dimensional Mamba layers and fully connected layers coupled with positional encoding to simultaneously capture historical and item information within each latent subspace. Our proposed method not only enables scaling up to large-scale parameters but also extends to multi-domain recommendation by integrating and fine-tuning LLMs. Through extensive experiments on public datasets, we demonstrate how Hydra effectively addresses the effectiveness-efficiency dilemma, outperforming state-of-the-art sequential recommendation baselines with significantly fewer parameters and reduced training time.
• Abstract（参考訳）: 次の行動を予測するためにユーザアクティビティを符号化するシーケンスレコメンデーション(SR)は、商業的パーソナライズドレコメンデーションシステムの開発において広く採用されている戦略である。 Transformerベースのモデルはシーケンシャルレコメンデーションに有効であることが証明されているが、Transformerの自己アテンションモジュールの複雑さはシーケンス長と2倍にスケールする。 モデル複雑性の制御は大規模レコメンデーションシステムにとって不可欠であり、これらのシステムは何十億もの語彙を連続的に進化させるだけでなく、数万を超えるユーザ行動シーケンスも扱う必要がある。 本稿では,複数の低次元マンバ層と完全連結層と位置符号化を併用した新しいマルチヘッド潜在マンバアーキテクチャを提案する。 提案手法は,大規模パラメータのスケールアップを可能にするだけでなく,LLMの統合と微調整によるマルチドメインレコメンデーションにも拡張する。 公開データセットに関する広範な実験を通じて、Hydraが有効効率ジレンマに効果的に対処し、最先端のシーケンシャルレコメンデーションベースラインをはるかに少ないパラメータで上回り、トレーニング時間を短縮することを示した。

関連論文リスト

• Pre-train, Align, and Disentangle: Empowering Sequential Recommendation with Large Language Models [38.15316444108154]
  シーケンシャルレコメンデーション(SR)は、ユーザの歴史的インタラクションにおけるシーケンシャルな依存関係をモデル化して、その進化する関心をよりよく捉えることを目的としている。 既存のSRアプローチはコラボレーティブデータに依存しており、コールドスタート問題や準最適性能などの制限につながる。 我々は,大規模言語モデルを用いた推薦モデルを強化するために,新しい事前訓練,アライン,ディケンタングル(PAD)パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-05T12:17:56Z)
• Train Once, Deploy Anywhere: Matryoshka Representation Learning for Multimodal Recommendation [27.243116376164906]
  マルチモーダルレコメンデーションのための大規模Matryoshka表現学習(fMRLRec)という軽量フレームワークを導入する。 当社のfMRLRecは,複数次元にわたる効率的なレコメンデーションのための情報表現を学習し,各項目の特徴を異なる粒度で捉えている。 複数のベンチマークデータセットに対するfMRLRecの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-09-25T05:12:07Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Mirror Gradient: Towards Robust Multimodal Recommender Systems via Exploring Flat Local Minima [54.06000767038741]
  フラットローカルミニマの新しい視点からマルチモーダルリコメンデータシステムの解析を行う。 我々はミラーグラディエント(MG)と呼ばれる簡潔で効果的な勾配戦略を提案する。 提案したMGは、既存の堅牢なトレーニング手法を補完し、多様な高度なレコメンデーションモデルに容易に拡張できることが判明した。
  論文  参考訳（メタデータ） (2024-02-17T12:27:30Z)
• Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation [33.97708796846252]
  短期および長期のクロスタイプの振る舞い依存を捉えるために,新しいMBHT(Multi-Behavior Hypergraph-enhanced Transformer framework)を導入する。 具体的には、多スケールトランスフォーマーは、細粒度および粗粒度から振舞い対応のシーケンシャルパターンを共同符号化するために、低ランクの自己アテンションを備える。
  論文  参考訳（メタデータ） (2022-07-12T15:07:21Z)
• Towards Universal Sequence Representation Learning for Recommender Systems [98.02154164251846]
  我々はUniSRecという新しいユニバーサルシーケンス表現学習手法を提案する。 提案手法は、項目の関連記述テキストを用いて、異なる推薦シナリオ間で転送可能な表現を学習する。 我々のアプローチは、パラメータ効率のよい方法で、新しいレコメンデーションドメインやプラットフォームに効果的に移行できます。
  論文  参考訳（メタデータ） (2022-06-13T07:21:56Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。