論文の概要: MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2407.19239v1
• Date: Sat, 27 Jul 2024 12:07:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 18:49:59.278570
• Title: MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation
• Title（参考訳）: MaTrRec: シークエンシャルレコメンデーションのためのMambaとTransformerの結合
• Authors: Shun Zhang, Runsen Zhang, Zhirong Yang,
• Abstract要約: ユーザ行動系列内の動的嗜好や依存関係を分析し,パーソナライズされたレコメンデーションを提供することを目的としている。 状態空間モデル(SSM)表現モデルであるMambaに着想を得た結果,Mambaの推奨効率は短い相互作用シーケンスで制限されることがわかった。 我々は,MambaとTransformerの強みを組み合わせた新しいモデルMaTrRecを提案する。
• 参考スコア（独自算出の注目度）: 6.74321828540424
• License:
• Abstract: Sequential recommendation systems aim to provide personalized recommendations by analyzing dynamic preferences and dependencies within user behavior sequences. Recently, Transformer models can effectively capture user preferences. However, their quadratic computational complexity limits recommendation performance on long interaction sequence data. Inspired by the State Space Model (SSM)representative model, Mamba, which efficiently captures user preferences in long interaction sequences with linear complexity, we find that Mamba's recommendation effectiveness is limited in short interaction sequences, with failing to recall items of actual interest to users and exacerbating the data sparsity cold start problem. To address this issue, we innovatively propose a new model, MaTrRec, which combines the strengths of Mamba and Transformer. This model fully leverages Mamba's advantages in handling long-term dependencies and Transformer's global attention advantages in short-term dependencies, thereby enhances predictive capabilities on both long and short interaction sequence datasets while balancing model efficiency. Notably, our model significantly improves the data sparsity cold start problem, with an improvement of up to 33% on the highly sparse Amazon Musical Instruments dataset. We conducted extensive experimental evaluations on five widely used public datasets. The experimental results show that our model outperforms the current state-of-the-art sequential recommendation models on all five datasets. The code is available at https://github.com/Unintelligentmumu/MaTrRec.
• Abstract（参考訳）: ユーザ行動系列内の動的嗜好や依存関係を分析し,パーソナライズされたレコメンデーションを提供することを目的としている。 近年、Transformerモデルはユーザの好みを効果的に捉えることができる。 しかし、その2次計算複雑性は、長い相互作用シーケンスデータ上での推奨性能を制限する。 状態空間モデル(SSM)の表現モデルであるMambaに着想を得た結果,Mambaの推奨効用は,ユーザへの実際の関心項目のリコールに失敗し,データ疎いコールドスタート問題を悪化させることなく,短時間のインタラクションシーケンスで制限されていることがわかった。 この問題に対処するため,我々は,MambaとTransformerの強みを組み合わせた新しいモデルMaTrRecを提案する。 このモデルは、長期的な依存関係を扱うMambaの利点と、短期的な依存関係におけるTransformerのグローバルな関心のアドバンテージをフル活用することで、モデル効率のバランスを保ちながら、長短の相互作用シーケンスデータセットの予測能力を向上する。 特に、当社のモデルは、Amazon Musical Instrumentsデータセットで最大33%の改善により、データスパーシティコールドスタートの問題を大幅に改善しています。 広範に利用されている5つの公開データセットについて、広範囲にわたる実験的評価を行った。 実験結果から,本モデルでは5つのデータセットすべてにおいて,現在の最先端のレコメンデーションモデルよりも優れた結果が得られた。 コードはhttps://github.com/Unintelligentmu/MaTrRec.comで公開されている。

関連論文リスト

• Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
  長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。 本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
  論文  参考訳（メタデータ） (2024-09-13T04:23:54Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MLSA4Rec: Mamba Combined with Low-Rank Decomposed Self-Attention for Sequential Recommendation [4.550290285002704]
  本稿では,新しいハイブリッドレコメンデーションフレームワークであるMambaとLow-Rank Self-Attention for Sequential Recommendation (MLSA4Rec)を提案する。 MLSA4Recは、MambaとLSAモジュールによって洗練されたユーザの好み情報を組み合わせて、ユーザの次のインタラクションを正確に予測する。 実験結果から,MLSA4Recは実世界の3つのデータセットの推薦精度において,既存の自己注意モデルとMambaベースのシーケンシャルレコメンデーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-07-18T03:46:21Z)
• EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation [0.0]
  制御理論は、長期依存の管理に状態空間モデル(SSM)を使うことを強調している。 本研究では,EchoMamba4Recを紹介した。 EchoMambaは既存のモデルよりも優れており、より正確でパーソナライズされたレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2024-06-04T09:07:58Z)
• Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
  長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。 近年,Mamba という新しい状態空間モデル (SSM) が提案されている。 入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:45:48Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• Multi-Behavior Sequential Recommendation with Temporal Graph Transformer [66.10169268762014]
  マルチビヘイビア・インタラクティブなパターンを意識した動的ユーザ・イテム関係学習に取り組む。 本稿では,動的短期および長期のユーザ・イテム対話パターンを共同でキャプチャする,TGT(Temporal Graph Transformer)レコメンデーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T15:42:54Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
  DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。 長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。 動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
  論文  参考訳（メタデータ） (2021-02-18T11:08:54Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。