論文の概要: SSD4Rec: A Structured State Space Duality Model for Efficient Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2409.01192v1
- Date: Mon, 02 Sep 2024 11:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 16:53:43.953622
- Title: SSD4Rec: A Structured State Space Duality Model for Efficient Sequential Recommendation
- Title（参考訳）: SSD4Rec:効率的なシークエンシャルレコメンデーションのための構造化状態空間双対モデル
- Authors: Haohao Qu, Yifeng Zhang, Liangbo Ning, Wenqi Fan, Qing Li,
- Abstract要約: 本稿では,新しい汎用的かつ効率的なレコメンデーションバックボーンSSD4Recを提案する。
SSD4Recは、可変長のアイテムシーケンスをシーケンスレジスタでマークし、アイテム表現を双方向のStructured State Space Duality (SSD)ブロックで処理する。
本モデルは,ユーザシーケンス長のほぼ直線的スケーラビリティを維持しながら,最先端の性能を実現する。
- 参考スコア（独自算出の注目度）: 18.537426536491203
- License:
- Abstract: Sequential recommendation methods are crucial in modern recommender systems for their remarkable capability to understand a user's changing interests based on past interactions. However, a significant challenge faced by current methods (e.g., RNN- or Transformer-based models) is to effectively and efficiently capture users' preferences by modeling long behavior sequences, which impedes their various applications like short video platforms where user interactions are numerous. Recently, an emerging architecture named Mamba, built on state space models (SSM) with efficient hardware-aware designs, has showcased the tremendous potential for sequence modeling, presenting a compelling avenue for addressing the challenge effectively. Inspired by this, we propose a novel generic and efficient sequential recommendation backbone, SSD4Rec, which explores the seamless adaptation of Mamba for sequential recommendations. Specifically, SSD4Rec marks the variable- and long-length item sequences with sequence registers and processes the item representations with bidirectional Structured State Space Duality (SSD) blocks. This not only allows for hardware-aware matrix multiplication but also empowers outstanding capabilities in variable-length and long-range sequence modeling. Extensive evaluations on four benchmark datasets demonstrate that the proposed model achieves state-of-the-art performance while maintaining near-linear scalability with user sequence length. Our code is publicly available at https://github.com/ZhangYifeng1995/SSD4Rec.
- Abstract（参考訳）: 近年のリコメンデーションシステムでは,過去のインタラクションに基づいたユーザの関心の変化を理解するための重要な機能として,シークエンシャルレコメンデーション手法が重要である。
しかし、現在の手法(例えば、RNNやTransformerベースのモデル)が直面している重要な課題は、長い振る舞いシーケンスをモデル化することで、ユーザの好みを効果的かつ効率的に捉えることである。
近年,効率的なハードウェア・アウェア・デザインを備えた状態空間モデル(SSM)上に構築されたMambaという新しいアーキテクチャが,シーケンス・モデリングの膨大な可能性を示し,この課題を効果的に解決するための魅力的な道筋を示している。
そこで本研究では,Mambaのシーケンシャルレコメンデーションへのシームレスな適応を探求する,新しい汎用的で効率的なシーケンシャルレコメンデーションバックボーンであるSSD4Recを提案する。
具体的には、SSD4Recは、可変長のアイテムシーケンスをシーケンスレジスタでマークし、アイテム表現を双方向のStructured State Space Duality (SSD)ブロックで処理する。
これは、ハードウェア対応の行列乗算を可能にするだけでなく、可変長および長距離シーケンスモデリングにおける優れた機能も強化する。
4つのベンチマークデータセットの大規模な評価は,提案モデルがユーザシーケンス長とほぼ線形なスケーラビリティを維持しつつ,最先端の性能を実現することを示す。
私たちのコードはhttps://github.com/ZhangYifeng 1995/SSD4Rec.comで公開されています。
関連論文リスト
- Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - Semantic Codebook Learning for Dynamic Recommendation Models [55.98259490159084]
動的シーケンシャルレコメンデーション(DSR)は、ユーザの振る舞いに基づいてモデルパラメータを生成し、シーケンシャルレコメンデーションのパーソナライズを改善する。
巨大なパラメータ探索空間と疎結合でノイズの多いユーザ-イテム相互作用の課題に直面するため、生成されたモデルパラメータの適用性が低下する。
Semantic Codebook Learning for Dynamic Recommendation Models (SOLID)フレームワークは、これらの課題に効果的に取り組むことで、DSRの大幅な進歩を示す。
論文 参考訳（メタデータ） (2024-07-31T19:25:25Z) - LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
自己保持機構の計算コストは、長いシーケンスの実用性を制限する。
我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。
LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
論文 参考訳（メタデータ） (2024-04-17T08:26:34Z) - Mamba: Linear-Time Sequence Modeling with Selective State Spaces [31.985243136674146]
ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。
このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。
我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。
一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T18:01:34Z) - MISSRec: Pre-training and Transferring Multi-modal Interest-aware
Sequence Representation for Recommendation [61.45986275328629]
逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。
ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。
候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
論文 参考訳（メタデータ） (2023-08-22T04:06:56Z) - Sparse Attentive Memory Network for Click-through Rate Prediction with
Long Sequences [10.233015715433602]
本稿では,長期的ユーザ行動モデリングのためのスパース注意記憶ネットワークを提案する。
SAMは数千のスケールでユーザ行動シーケンスの効率的なトレーニングとリアルタイム推論をサポートする。
SAMは、世界最大の国際Eコマースプラットフォームのひとつとして成功している。
論文 参考訳（メタデータ） (2022-08-08T10:11:46Z) - Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。
S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
論文 参考訳（メタデータ） (2021-10-31T03:32:18Z) - Contrastive Self-supervised Sequential Recommendation with Robust
Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。
データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。
逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文 参考訳（メタデータ） (2021-08-14T07:15:25Z) - Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。
さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。
実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-31T13:56:46Z) - Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。
長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。
動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
論文 参考訳（メタデータ） (2021-02-18T11:08:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。