論文の概要: MLSA4Rec: Mamba Combined with Low-Rank Decomposed Self-Attention for Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2407.13135v1
- Date: Thu, 18 Jul 2024 03:46:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 19:46:09.071305
- Title: MLSA4Rec: Mamba Combined with Low-Rank Decomposed Self-Attention for Sequential Recommendation
- Title（参考訳）: MLSA4Rec:Mambaと低ランク分解型セルフアテンションを併用したシークエンシャルレコメンデーション
- Authors: Jinzhao Su, Zhenhua Huang,
- Abstract要約: 本稿では,新しいハイブリッドレコメンデーションフレームワークであるMambaとLow-Rank Self-Attention for Sequential Recommendation (MLSA4Rec)を提案する。
MLSA4Recは、MambaとLSAモジュールによって洗練されたユーザの好み情報を組み合わせて、ユーザの次のインタラクションを正確に予測する。
実験結果から,MLSA4Recは実世界の3つのデータセットの推薦精度において,既存の自己注意モデルとMambaベースのシーケンシャルレコメンデーションモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 4.550290285002704
- License:
- Abstract: In applications such as e-commerce, online education, and streaming services, sequential recommendation systems play a critical role. Despite the excellent performance of self-attention-based sequential recommendation models in capturing dependencies between items in user interaction history, their quadratic complexity and lack of structural bias limit their applicability. Recently, some works have replaced the self-attention module in sequential recommenders with Mamba, which has linear complexity and structural bias. However, these works have not noted the complementarity between the two approaches. To address this issue, this paper proposes a new hybrid recommendation framework, Mamba combined with Low-Rank decomposed Self-Attention for Sequential Recommendation (MLSA4Rec), whose complexity is linear with respect to the length of the user's historical interaction sequence. Specifically, MLSA4Rec designs an efficient Mamba-LSA interaction module. This module introduces a low-rank decomposed self-attention (LSA) module with linear complexity and injects structural bias into it through Mamba. The LSA module analyzes user preferences from a different perspective and dynamically guides Mamba to focus on important information in user historical interactions through a gated information transmission mechanism. Finally, MLSA4Rec combines user preference information refined by the Mamba and LSA modules to accurately predict the user's next possible interaction. To our knowledge, this is the first study to combine Mamba and self-attention in sequential recommendation systems. Experimental results show that MLSA4Rec outperforms existing self-attention and Mamba-based sequential recommendation models in recommendation accuracy on three real-world datasets, demonstrating the great potential of Mamba and self-attention working together.
- Abstract（参考訳）: 電子商取引、オンライン教育、ストリーミングサービスなどのアプリケーションでは、シーケンシャルレコメンデーションシステムが重要な役割を果たす。
ユーザインタラクション履歴の項目間の依存関係をキャプチャする自己アテンションベースのシーケンシャルレコメンデーションモデルの優れたパフォーマンスにもかかわらず、その二次的な複雑さと構造的バイアスの欠如は適用性を制限します。
最近では、線形複雑性と構造バイアスを持つMambaを逐次レコメンデータの自己アテンションモジュールに置き換えた研究もある。
しかし、これらの研究は2つのアプローチの相補性について言及していない。
そこで本稿では,ユーザの履歴的インタラクションシーケンスの長さに対して複雑度が線形であるMLSA4Rec(Self-Attention for Sequential Recommendation)を併用した新しいハイブリッドレコメンデーションフレームワークであるMambaを提案する。
具体的には、MLSA4Recは効率的なMamba-LSA相互作用モジュールを設計する。
このモジュールは、線形複雑性を持つ低ランク分解自己アテンション(LSA)モジュールを導入し、Mambaを介して構造バイアスを注入する。
LSAモジュールは、異なる視点からユーザの好みを分析し、ゲートされた情報伝達機構を通じて、ユーザの歴史的なインタラクションにおける重要な情報に集中するよう、Mambaを動的に誘導する。
最後に、MLSA4Recは、MambaとLSAモジュールによって洗練されたユーザの好み情報を組み合わせて、ユーザの次のインタラクションを正確に予測する。
我々の知る限り、これは連続的なレコメンデーションシステムにおいて、マンバと自己注意を組み合わせる最初の研究である。
実験結果から,MLSA4Recは,既存の自己注意モデルやマンバをベースとしたシーケンシャルレコメンデーションモデルよりも,実世界の3つのデータセット上での推奨精度が優れており,マンバと自己意識が連携する大きな可能性を示している。
関連論文リスト
- Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。
LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
論文 参考訳（メタデータ） (2024-09-30T03:59:06Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
選択状態空間列モデル(マンバモデルと呼ばれる)を用いた最近のシーケンスモデリング手法は、関心が高まりつつある。
これらのモデルは、線形時間における長いシーケンスの効率的な処理を可能にし、言語モデリングのような広範囲のアプリケーションで急速に採用されている。
現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
論文 参考訳（メタデータ） (2024-06-11T12:15:47Z) - EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation [0.0]
制御理論は、長期依存の管理に状態空間モデル(SSM)を使うことを強調している。
本研究では,EchoMamba4Recを紹介した。
EchoMambaは既存のモデルよりも優れており、より正確でパーソナライズされたレコメンデーションを提供する。
論文 参考訳（メタデータ） (2024-06-04T09:07:58Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳（メタデータ） (2024-04-24T09:45:48Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳（メタデータ） (2024-02-05T16:39:12Z) - On Generative Agents in Recommendation [58.42840923200071]
Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。
各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
論文 参考訳（メタデータ） (2023-10-16T06:41:16Z) - Contrastive Self-supervised Sequential Recommendation with Robust
Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。
データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。
逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文 参考訳（メタデータ） (2021-08-14T07:15:25Z) - Controllable Multi-Interest Framework for Recommendation [64.30030600415654]
我々はレコメンデータシステムを逐次レコメンデーション問題として定式化する。
我々は,ComiRec と呼ばれる連続的なレコメンデーションのための新しい制御可能な多目的フレームワークを提案する。
私たちのフレームワークは、オフラインのAlibaba分散クラウドプラットフォームにうまくデプロイされています。
論文 参考訳（メタデータ） (2020-05-19T10:18:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。