論文の概要: TiM4Rec: An Efficient Sequential Recommendation Model Based on Time-Aware Structured State Space Duality Model

• arxiv url: http://arxiv.org/abs/2409.16182v3
• Date: Thu, 05 Dec 2024 14:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:36:27.672940
• Title: TiM4Rec: An Efficient Sequential Recommendation Model Based on Time-Aware Structured State Space Duality Model
• Title（参考訳）: TiM4Rec:時空間構造モデルに基づく効率的な逐次勧告モデル
• Authors: Hao Fan, Mengyi Zhu, Yanrong Hu, Hailin Feng, Zhijie He, Hongjiu Liu, Qingyang Liu,
• Abstract要約: 状態空間双対性(SSD)に基づくMamba1とMamba2の2世代からなるTransformerからMambaアーキテクチャへ、シーケンスレコメンデーションモデリングが移行している。 SSDはSSMに比べて計算効率が優れているが、シーケンシャルなレコメンデーションタスクでは性能が低下する。 我々は,低次元SSD環境での性能劣化を軽減し,計算効率を保ちながら,Tim4Rec(Time-Aware Mamba for Recommendation)を提案する。
• 参考スコア（独自算出の注目度）: 4.414031127599392
• License:
• Abstract: The Sequential Recommendation modeling paradigm is shifting from Transformer to Mamba architecture, which comprises two generations: Mamba1, based on the State Space Model (SSM), and Mamba2, based on State Space Duality (SSD). Although SSD offers superior computational efficiency compared to SSM, it suffers performance degradation in sequential recommendation tasks, especially in low-dimensional scenarios that are critical for these tasks. Considering that time-aware enhancement methods are commonly employed to mitigate performance loss, our analysis reveals that the performance decline of SSD can similarly be fundamentally compensated by leveraging mechanisms in time-aware methods. Thus, we propose integrating time-awareness into the SSD framework to address these performance issues. However, integrating current time-aware methods, modeled after TiSASRec, into SSD faces the following challenges: 1) the complexity of integrating these transformer-based mechanisms with the SSD architecture, and 2) the computational inefficiency caused by the need for dimensionality expansion of time-difference modeling. To overcome these challenges, we introduce a novel Time-aware Structured Masked Matrix that efficiently incorporates time-aware capabilities into SSD. Building on this, we propose Time-Aware Mamba for Recommendation (TiM4Rec), which mitigates performance degradation in low-dimensional SSD contexts while preserving computational efficiency. This marks the inaugural application of a time-aware enhancement method specifically tailored for the Mamba architecture within the domain of sequential recommendation. Extensive experiments conducted on three real-world datasets demonstrate the superiority of our approach. The code for our model is accessible at https://github.com/AlwaysFHao/TiM4Rec.
• Abstract（参考訳）: シークエンシャル・レコメンデーション・モデリングのパラダイムは、TransformerからMambaアーキテクチャへ移行し、Mamba1はステート・スペース・モデル(SSM)に基づくもので、Mamba2はステート・スペース・デュナリティ(SSD)に基づくものである。 SSDはSSMに比べて計算効率が優れているが、シーケンシャルなレコメンデーションタスク、特にこれらのタスクに不可欠な低次元シナリオでは性能が低下する。 性能低下を緩和するために時間認識拡張法が一般的に用いられることを考えると,本研究では,時間認識法における機構を活用することにより,SSDの性能低下を根底から補うことができることを示した。 そこで本研究では,これらの性能問題に対処するため,SSDフレームワークにタイムアウェアネスを統合することを提案する。 しかし、TiSASRecをモデルとした現在のタイムアウェアメソッドをSSDに統合することは、以下の課題に直面している。 1) 変圧器をベースとした機構とSSDアーキテクチャの統合の複雑さ 2)時間差モデリングの次元展開の必要性による計算効率の低下。 これらの課題を克服するため,我々は,SSDにタイムアウェア機能を効率的に組み込んだ,タイムアウェアな構造化マスケッドマトリックスを新たに導入した。 これに基づいて,低次元SSD環境での性能劣化を軽減し,計算効率を保ちながら,Tim4Rec(Time-Aware Mamba for Recommendation)を提案する。 これは、シーケンシャルレコメンデーションドメイン内のMambaアーキテクチャ用に特別に調整された、タイムアウェア・エンハンスメント・メソッドの初歩的な適用である。 3つの実世界のデータセットで実施された大規模な実験は、我々のアプローチの優位性を示している。 私たちのモデルのコードはhttps://github.com/AlwaysFHao/TiM4Recでアクセスできます。

関連論文リスト

• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• SSD4Rec: A Structured State Space Duality Model for Efficient Sequential Recommendation [18.537426536491203]
  本稿では,新しい汎用的かつ効率的なレコメンデーションバックボーンSSD4Recを提案する。 SSD4Recは、可変長のアイテムシーケンスをシーケンスレジスタでマークし、アイテム表現を双方向のStructured State Space Duality (SSD)ブロックで処理する。 本モデルは,ユーザシーケンス長のほぼ直線的スケーラビリティを維持しながら,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-02T11:58:56Z)
• Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
  拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。 3つの戦略を含む新しい量子化フレームワークを導入する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
  論文  参考訳（メタデータ） (2024-07-28T17:46:15Z)
• VSSD: Vision Mamba with Non-Causal State Space Duality [26.96416515847115]
  状態空間モデル(SSM)は、線形計算の複雑さを提供するため、視覚タスクにおいて注目されている。 本稿では,VSSDの非因果形式であるVisual State Space Duality(VSSD)モデルを紹介する。 我々は、VSSDが既存の最先端SSMモデルを上回る画像分類、検出、セグメンテーションを含む様々なベンチマークで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-07-26T07:16:52Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• EfficientState Space Model viaFast Tensor Convolutionand Block Diagonalization [5.260841516691153]
  本稿では,マルチインプットマルチアウトプットSSMに基づく新しい状態空間層,すなわち効率的なSSMを提案する。 我々のeSSMは、マルチインプットおよびマルチインプット(MIMO)SSMの畳み込み表現に基づいて構築されている。 モデル効率ベンチマークでは、eSSMのパラメータはLSTMの12.89%、Mambaの13.24%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-02-23T12:36:31Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Multitask Learning for Time Series Data with 2D Convolution [32.72419542473646]
  マルチタスク学習(MTL)は、密接に関連する一連のタスクを同時に処理できる統一モデルを開発することを目的としている。 本稿では,MTLの時系列分類問題への適用について検討する。 現状の1D畳み込みモデルとMLLを統合した場合,RTCモデルの性能は実際に低下することを示す。
  論文  参考訳（メタデータ） (2023-10-05T22:00:17Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。