論文の概要: SIGMA: Selective Gated Mamba for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2408.11451v3
• Date: Sat, 21 Dec 2024 12:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 22:39:28.987766
• Title: SIGMA: Selective Gated Mamba for Sequential Recommendation
• Title（参考訳）: SIGMA:シークエンシャルレコメンデーションのための選択的なゲーテッドマンバ
• Authors: Ziwei Liu, Qidong Liu, Yejing Wang, Wanyu Wang, Pengyue Jia, Maolin Wang, Zitao Liu, Yi Chang, Xiangyu Zhao,
• Abstract要約: 最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 56.85338055215429
• License:
• Abstract: In various domains, Sequential Recommender Systems (SRS) have become essential due to their superior capability to discern intricate user preferences. Typically, SRS utilize transformer-based architectures to forecast the subsequent item within a sequence. Nevertheless, the quadratic computational complexity inherent in these models often leads to inefficiencies, hindering the achievement of real-time recommendations. Mamba, a recent advancement, has exhibited exceptional performance in time series prediction, significantly enhancing both efficiency and accuracy. However, integrating Mamba directly into SRS poses several challenges. Its inherently unidirectional nature may constrain the model's capacity to capture the full context of user-item interactions, while its instability in state estimation can compromise its ability to detect short-term patterns within interaction sequences. To overcome these issues, we introduce a new framework named Selective Gated Mamba (SIGMA) for Sequential Recommendation. This framework leverages a Partially Flipped Mamba (PF-Mamba) to construct a bidirectional architecture specifically tailored to improve contextual modeling. Additionally, an input-sensitive Dense Selective Gate (DS Gate) is employed to optimize directional weights and enhance the processing of sequential information in PF-Mamba. For short sequence modeling, we have also developed a Feature Extract GRU (FE-GRU) to efficiently capture short-term dependencies. Empirical results indicate that SIGMA outperforms current models on five real-world datasets. Our implementation code is available at https://github.com/ziwliu-cityu/SIMGA to ease reproducibility.
• Abstract（参考訳）: 様々な領域において、複雑なユーザの嗜好を識別する優れた能力のために、SRS(Sequential Recommender Systems)が不可欠になっている。 典型的には、SRSはトランスフォーマーベースのアーキテクチャを使用して、後続のアイテムをシーケンス内で予測する。 しかしながら、これらのモデルに固有の二次計算の複雑さは、しばしば非効率につながり、リアルタイムの推薦の達成を妨げる。 最近の進歩であるMambaは、時系列予測において例外的な性能を示し、効率と精度の両方を大幅に向上させた。 しかし、Mambaを直接SRSに統合することはいくつかの課題をもたらす。 その本質的に一方向的な性質は、ユーザとイテムのインタラクションの全コンテキストをキャプチャするモデルの能力を制限する可能性がある一方で、状態推定の不安定性は、インタラクションシーケンス内の短期パターンを検出する能力を損なう可能性がある。 これらの問題を克服するために、シークエンシャルレコメンデーションのためのSIGMA(Selective Gated Mamba)という新しいフレームワークを導入する。 このフレームワークは、PF-Mamba (Partially Flipped Mamba) を利用して、コンテキストモデリングを改善するために特別に設計された双方向アーキテクチャを構築する。 さらに、指向性の重みを最適化し、PF-Mambaにおけるシーケンシャル情報の処理を強化するために、入力に敏感なDense Selective Gate(DS Gate)が使用される。 また,ショートシーケンスモデリングのために,短期依存関係を効率的に捉える機能抽出GRU (FE-GRU) を開発した。 実証的な結果は、SIGMAが5つの実世界のデータセットで現在のモデルより優れていることを示している。 我々の実装コードは再現性を容易にするためにhttps://github.com/ziwliu-cityu/SIMGAで利用可能です。

関連論文リスト

• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation [6.74321828540424]
  ユーザ行動系列内の動的嗜好や依存関係を分析し,パーソナライズされたレコメンデーションを提供することを目的としている。 状態空間モデル(SSM)表現モデルであるMambaに着想を得た結果,Mambaの推奨効率は短い相互作用シーケンスで制限されることがわかった。 我々は,MambaとTransformerの強みを組み合わせた新しいモデルMaTrRecを提案する。
  論文  参考訳（メタデータ） (2024-07-27T12:07:46Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
  選択状態空間列モデル(マンバモデルと呼ばれる)を用いた最近のシーケンスモデリング手法は、関心が高まりつつある。 これらのモデルは、線形時間における長いシーケンスの効率的な処理を可能にし、言語モデリングのような広範囲のアプリケーションで急速に採用されている。 現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
  論文  参考訳（メタデータ） (2024-06-11T12:15:47Z)
• EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation [0.0]
  制御理論は、長期依存の管理に状態空間モデル(SSM)を使うことを強調している。 本研究では,EchoMamba4Recを紹介した。 EchoMambaは既存のモデルよりも優れており、より正確でパーソナライズされたレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2024-06-04T09:07:58Z)
• Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
  長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。 近年,Mamba という新しい状態空間モデル (SSM) が提案されている。 入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:45:48Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。