論文の概要: TiM4Rec: An Efficient Sequential Recommendation Model Based on Time-Aware Structured State Space Duality Model
- arxiv url: http://arxiv.org/abs/2409.16182v2
- Date: Thu, 10 Oct 2024 07:10:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 14:58:04.226035
- Title: TiM4Rec: An Efficient Sequential Recommendation Model Based on Time-Aware Structured State Space Duality Model
- Title（参考訳）: TiM4Rec:時空間構造モデルに基づく効率的な逐次勧告モデル
- Authors: Hao Fan, Mengyi Zhu, Yanrong Hu, Hailin Feng, Zhijie He, Hongjiu Liu, Qingyang Liu,
- Abstract要約: 線形計算複雑性を特徴とするマンバアーキテクチャが出現した。
Mamba 1のハードウェア対応アルゴリズムは、現代の行列計算ユニットを効率的に活用するのに苦労している。
本稿では,SSDアーキテクチャの低次元性能損失を改善するため,新しいレコメンデーションバックボーンモデルTiM4Recを提案する。
- 参考スコア（独自算出の注目度）: 4.414031127599392
- License:
- Abstract: Sequential recommendation represents a pivotal branch of recommendation systems, centered around dynamically analyzing the sequential dependencies between user preferences and their interactive behaviors. Despite the Transformer architecture-based models achieving commendable performance within this domain, their quadratic computational complexity relative to the sequence dimension impedes efficient modeling. In response, the innovative Mamba architecture, characterized by linear computational complexity, has emerged. Mamba4Rec further pioneers the application of Mamba in sequential recommendation. Nonetheless, Mamba 1's hardware-aware algorithm struggles to efficiently leverage modern matrix computational units, which lead to the proposal of the improved State Space Duality (SSD), also known as Mamba 2. While the SSD4Rec successfully adapts the SSD architecture for sequential recommendation, showing promising results in high-dimensional contexts, it suffers significant performance drops in low-dimensional scenarios crucial for pure ID sequential recommendation tasks. Addressing this challenge, we propose a novel sequential recommendation backbone model, TiM4Rec, which ameliorates the low-dimensional performance loss of the SSD architecture while preserving its computational efficiency. Drawing inspiration from TiSASRec, we develop a time-aware enhancement method tailored for the linear computation demands of the SSD architecture, thereby enhancing its adaptability and achieving state-of-the-art (SOTA) performance in both low and high-dimensional modeling. The code for our model is publicly accessible at https://github.com/AlwaysFHao/TiM4Rec.
- Abstract（参考訳）: シーケンシャルレコメンデーションは、ユーザの好みと対話的な振る舞いの間のシーケンシャルな依存関係を動的に分析することを中心に、レコメンデーションシステムの重要な分岐を表現している。
トランスフォーマーアーキテクチャに基づくモデルは、この領域内での可換性能を達成するが、シーケンス次元に対する2次計算の複雑さは、効率的なモデリングを妨げる。
これに対し、線形計算複雑性を特徴とする革新的マンバアーキテクチャが出現した。
Mamba4Recはさらに、Mambaのシーケンシャルなレコメンデーション適用の先駆者となっている。
しかし、Mamba 1のハードウェア対応アルゴリズムは、現代の行列計算ユニットを効率的に活用するのに苦労しているため、改善されたState Space Duality (SSD) (Mamba 2) が提案された。
SSD4Recは、SSDアーキテクチャをシーケンシャルレコメンデーションに適応させ、高次元コンテキストで有望な結果を示す一方で、純粋なIDシーケンシャルレコメンデーションタスクに不可欠な低次元シナリオにおいて、大幅なパフォーマンス低下を被る。
この課題に対処し、計算効率を保ちながらSSDアーキテクチャの低次元性能損失を改善するため、新しいレコメンデーションバックボーンモデルTiM4Recを提案する。
我々は,TiSASRecのインスピレーションを得て,SSDアーキテクチャの線形計算要求に適した時間認識拡張手法を開発し,その適応性を高め,低次元および高次元のモデリングにおいて最先端(SOTA)性能を実現する。
私たちのモデルのコードはhttps://github.com/AlwaysFHao/TiM4Recで公開されています。
関連論文リスト
- Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。
DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。
本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文 参考訳（メタデータ） (2024-10-31T07:28:22Z) - Rethinking Token Reduction for State Space Models [47.00760373683448]
状態空間モデル(SSM)のための調整・統一されたポストトレーニングトークン削減手法を提案する。
我々のアプローチはトークンの重要性と類似性を統合し、プルーニングとマージの両方を活用する。
本手法は,Mamba-2を用いた6つのベンチマークにおいて,従来の手法と比較して平均精度を5.7%から13.1%向上させる。
論文 参考訳（メタデータ） (2024-10-16T00:06:13Z) - Distillation-free Scaling of Large SSMs for Images and Videos [27.604572990625144]
状態空間モデル(SSM)は、状態空間の技術を深層学習に組み込むことにより、新しい文脈モデリング手法を導入した。
マンバベースのアーキテクチャは、パラメータの数に関してスケールが難しいため、ビジョンアプリケーションにとって大きな制限となる。
本稿では,拡張性,堅牢性,性能を向上させるMamba-Attentionインターリーブアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-09-18T10:48:10Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - DiM-Gesture: Co-Speech Gesture Generation with Adaptive Layer Normalization Mamba-2 framework [2.187990941788468]
生音声のみから、高度にパーソナライズされた3Dフルボディジェスチャーを作成するために作られた生成モデル。
Modelは、Mambaベースのファジィ特徴抽出器と非自己回帰適応層正規化(AdaLN)Mamba-2拡散アーキテクチャを統合している。
論文 参考訳（メタデータ） (2024-08-01T08:22:47Z) - A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。
本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-31T21:47:05Z) - Simulated Overparameterization [35.12611686956487]
SOP(Simulated Overparametrization)と呼ばれる新しいパラダイムを導入する。
SOPは、モデルトレーニングと推論に対するユニークなアプローチを提案し、パラメータのより小さく効率的なサブセットが推論中の実際の計算に使用されるように、非常に多くのパラメータを持つモデルを訓練する。
本稿では,トランスフォーマーモデルを含む主要なアーキテクチャとシームレスに統合する,新しいアーキテクチャ非依存のアルゴリズム"Majority kernels"を提案する。
論文 参考訳（メタデータ） (2024-02-07T17:07:41Z) - EASRec: Elastic Architecture Search for Efficient Long-term Sequential
Recommender Systems [82.76483989905961]
現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。
我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。
EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
論文 参考訳（メタデータ） (2024-02-01T07:22:52Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳（メタデータ） (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。