論文の概要: TiM4Rec: An Efficient Sequential Recommendation Model Based on Time-Aware Structured State Space Duality Model
- arxiv url: http://arxiv.org/abs/2409.16182v2
- Date: Thu, 10 Oct 2024 07:10:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 14:58:04.226035
- Title: TiM4Rec: An Efficient Sequential Recommendation Model Based on Time-Aware Structured State Space Duality Model
- Title（参考訳）: TiM4Rec:時空間構造モデルに基づく効率的な逐次勧告モデル
- Authors: Hao Fan, Mengyi Zhu, Yanrong Hu, Hailin Feng, Zhijie He, Hongjiu Liu, Qingyang Liu,
- Abstract要約: 線形計算複雑性を特徴とするマンバアーキテクチャが出現した。
Mamba 1のハードウェア対応アルゴリズムは、現代の行列計算ユニットを効率的に活用するのに苦労している。
本稿では,SSDアーキテクチャの低次元性能損失を改善するため,新しいレコメンデーションバックボーンモデルTiM4Recを提案する。
- 参考スコア（独自算出の注目度）: 4.414031127599392
- License:
- Abstract: Sequential recommendation represents a pivotal branch of recommendation systems, centered around dynamically analyzing the sequential dependencies between user preferences and their interactive behaviors. Despite the Transformer architecture-based models achieving commendable performance within this domain, their quadratic computational complexity relative to the sequence dimension impedes efficient modeling. In response, the innovative Mamba architecture, characterized by linear computational complexity, has emerged. Mamba4Rec further pioneers the application of Mamba in sequential recommendation. Nonetheless, Mamba 1's hardware-aware algorithm struggles to efficiently leverage modern matrix computational units, which lead to the proposal of the improved State Space Duality (SSD), also known as Mamba 2. While the SSD4Rec successfully adapts the SSD architecture for sequential recommendation, showing promising results in high-dimensional contexts, it suffers significant performance drops in low-dimensional scenarios crucial for pure ID sequential recommendation tasks. Addressing this challenge, we propose a novel sequential recommendation backbone model, TiM4Rec, which ameliorates the low-dimensional performance loss of the SSD architecture while preserving its computational efficiency. Drawing inspiration from TiSASRec, we develop a time-aware enhancement method tailored for the linear computation demands of the SSD architecture, thereby enhancing its adaptability and achieving state-of-the-art (SOTA) performance in both low and high-dimensional modeling. The code for our model is publicly accessible at https://github.com/AlwaysFHao/TiM4Rec.
- Abstract（参考訳）: シーケンシャルレコメンデーションは、ユーザの好みと対話的な振る舞いの間のシーケンシャルな依存関係を動的に分析することを中心に、レコメンデーションシステムの重要な分岐を表現している。
トランスフォーマーアーキテクチャに基づくモデルは、この領域内での可換性能を達成するが、シーケンス次元に対する2次計算の複雑さは、効率的なモデリングを妨げる。
これに対し、線形計算複雑性を特徴とする革新的マンバアーキテクチャが出現した。
Mamba4Recはさらに、Mambaのシーケンシャルなレコメンデーション適用の先駆者となっている。
しかし、Mamba 1のハードウェア対応アルゴリズムは、現代の行列計算ユニットを効率的に活用するのに苦労しているため、改善されたState Space Duality (SSD) (Mamba 2) が提案された。
SSD4Recは、SSDアーキテクチャをシーケンシャルレコメンデーションに適応させ、高次元コンテキストで有望な結果を示す一方で、純粋なIDシーケンシャルレコメンデーションタスクに不可欠な低次元シナリオにおいて、大幅なパフォーマンス低下を被る。
この課題に対処し、計算効率を保ちながらSSDアーキテクチャの低次元性能損失を改善するため、新しいレコメンデーションバックボーンモデルTiM4Recを提案する。
我々は,TiSASRecのインスピレーションを得て,SSDアーキテクチャの線形計算要求に適した時間認識拡張手法を開発し,その適応性を高め,低次元および高次元のモデリングにおいて最先端(SOTA)性能を実現する。
私たちのモデルのコードはhttps://github.com/AlwaysFHao/TiM4Recで公開されています。
関連論文リスト
- Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳（メタデータ） (2024-11-23T06:36:16Z) - SSD4Rec: A Structured State Space Duality Model for Efficient Sequential Recommendation [18.537426536491203]
本稿では,新しい汎用的かつ効率的なレコメンデーションバックボーンSSD4Recを提案する。
SSD4Recは、可変長のアイテムシーケンスをシーケンスレジスタでマークし、アイテム表現を双方向のStructured State Space Duality (SSD)ブロックで処理する。
本モデルは,ユーザシーケンス長のほぼ直線的スケーラビリティを維持しながら,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-09-02T11:58:56Z) - Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
論文 参考訳（メタデータ） (2024-07-28T17:46:15Z) - VSSD: Vision Mamba with Non-Causal State Space Duality [26.96416515847115]
状態空間モデル(SSM)は、線形計算の複雑さを提供するため、視覚タスクにおいて注目されている。
本稿では,VSSDの非因果形式であるVisual State Space Duality(VSSD)モデルを紹介する。
我々は、VSSDが既存の最先端SSMモデルを上回る画像分類、検出、セグメンテーションを含む様々なベンチマークで広範な実験を行う。
論文 参考訳（メタデータ） (2024-07-26T07:16:52Z) - A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。
本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-31T21:47:05Z) - HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。
我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。
我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
論文 参考訳（メタデータ） (2024-05-22T20:20:14Z) - EfficientState Space Model viaFast Tensor Convolutionand Block Diagonalization [5.260841516691153]
本稿では,マルチインプットマルチアウトプットSSMに基づく新しい状態空間層,すなわち効率的なSSMを提案する。
我々のeSSMは、マルチインプットおよびマルチインプット(MIMO)SSMの畳み込み表現に基づいて構築されている。
モデル効率ベンチマークでは、eSSMのパラメータはLSTMの12.89%、Mambaの13.24%に過ぎなかった。
論文 参考訳（メタデータ） (2024-02-23T12:36:31Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - Multitask Learning for Time Series Data with 2D Convolution [32.72419542473646]
マルチタスク学習(MTL)は、密接に関連する一連のタスクを同時に処理できる統一モデルを開発することを目的としている。
本稿では,MTLの時系列分類問題への適用について検討する。
現状の1D畳み込みモデルとMLLを統合した場合,RTCモデルの性能は実際に低下することを示す。
論文 参考訳（メタデータ） (2023-10-05T22:00:17Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳（メタデータ） (2022-09-01T10:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。