論文の概要: EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2406.02638v1
- Date: Tue, 4 Jun 2024 09:07:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 23:19:06.915649
- Title: EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation
- Title（参考訳）: EchoMamba4Rec: 高度なシーケンスレコメンデーションのためのスペクトルフィルタリングによる双方向状態空間モデルの調和
- Authors: Yuda Wang, Xuxin He, Shengxin Zhu,
- Abstract要約: シークエンシャルレコメンデーションは,ユーザ行動の動的嗜好とシーケンシャルな依存関係を推定することを目的としている。
注意に基づくモデルはシーケンシャルな推薦に有効であることが証明されているが、注意機構の複雑さにより推論の効率が低下している。
本稿では、双方向処理と周波数領域フィルタリングを統合したEchoMamba4Recを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential recommendation aims to estimate dynamic user preferences and sequential dependencies among historical user behaviors. Attention-based models have proven effective for sequential recommendation, but they suffer from inference inefficiency due to the quadratic computational complexity of attention mechanisms, particularly for long-range behavior sequences. Inspired by the recent success of state space models (SSMs) in control theory, which provide a robust framework for modeling and controlling dynamic systems, we present EchoMamba4Rec. Control theory emphasizes the use of SSMs for managing long-range dependencies and maintaining inferential efficiency through structured state matrices. EchoMamba4Rec leverages these control relationships in sequential recommendation and integrates bi-directional processing with frequency-domain filtering to capture complex patterns and dependencies in user interaction data more effectively. Our model benefits from the ability of state space models (SSMs) to learn and perform parallel computations, significantly enhancing computational efficiency and scalability. It features a bi-directional Mamba module that incorporates both forward and reverse Mamba components, leveraging information from both past and future interactions. Additionally, a filter layer operates in the frequency domain using learnable Fast Fourier Transform (FFT) and learnable filters, followed by an inverse FFT to refine item embeddings and reduce noise. We also integrate Gate Linear Units (GLU) to dynamically control information flow, enhancing the model's expressiveness and training stability. Experimental results demonstrate that EchoMamba significantly outperforms existing models, providing more accurate and personalized recommendations.
- Abstract（参考訳）: シークエンシャルレコメンデーションは,ユーザ行動の動的嗜好とシーケンシャルな依存関係を推定することを目的としている。
注意に基づくモデルはシーケンシャルなレコメンデーションに有効であることが証明されているが、特に長距離行動系列において、注意機構の2次計算の複雑さにより、推論の非効率性に悩まされている。
動的システムのモデリングと制御のための堅牢なフレームワークを提供する制御理論における状態空間モデル(SSM)の最近の成功に触発されて,EchoMamba4Recを提案する。
制御理論は、長期依存を管理し、構造化状態行列を通して推論効率を維持するためのSSMの使用を強調している。
EchoMamba4Recは、これらの制御関係をシーケンシャルなレコメンデーションで利用し、双方向処理と周波数領域フィルタリングを統合して、ユーザインタラクションデータの複雑なパターンや依存関係をより効率的にキャプチャする。
我々のモデルは、並列計算を学習し実行し、計算効率とスケーラビリティを大幅に向上させる状態空間モデル(SSM)の利点がある。
前方と後方の両方のMambaコンポーネントを組み込んだ双方向のMambaモジュールを備えており、過去と将来のインタラクションからの情報を活用する。
さらに、フィルタ層は、学習可能なFast Fourier Transform(FFT)と学習可能なフィルタを使用して周波数領域で動作し、続いて逆FFTによってアイテム埋め込みを洗練しノイズを低減する。
また、ゲート線形ユニット(GLU)を統合して情報の流れを動的に制御し、モデルの表現性や訓練安定性を高める。
実験の結果、EchoMambaは既存のモデルを大幅に上回り、より正確でパーソナライズされたレコメンデーションを提供することが示された。
関連論文リスト
- Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。
我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。
ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
論文 参考訳（メタデータ） (2024-10-31T14:52:01Z) - Amortized Control of Continuous State Space Feynman-Kac Model for Irregular Time Series [14.400596021890863]
医療、気候、経済などの現実世界のデータセットは、しばしば不規則な時系列として収集される。
本稿では,連続状態空間モデル (ACSSM) を時系列の連続的動的モデリングに用いるためのアモータイズ制御を提案する。
論文 参考訳（メタデータ） (2024-10-08T01:27:46Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation [6.74321828540424]
ユーザ行動系列内の動的嗜好や依存関係を分析し,パーソナライズされたレコメンデーションを提供することを目的としている。
状態空間モデル(SSM)表現モデルであるMambaに着想を得た結果,Mambaの推奨効率は短い相互作用シーケンスで制限されることがわかった。
我々は,MambaとTransformerの強みを組み合わせた新しいモデルMaTrRecを提案する。
論文 参考訳（メタデータ） (2024-07-27T12:07:46Z) - Representation Alignment Contrastive Regularization for Multi-Object Tracking [29.837560662395713]
多目的追跡アルゴリズムのメインストリーム性能は、データアソシエーション段階における重時間関係のモデリングに依存する。
この研究は、深層学習に基づく時間的関係モデルを単純化し、データアソシエーション設計に解釈可能性を導入することを目的としている。
論文 参考訳（メタデータ） (2024-04-03T08:33:08Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳（メタデータ） (2021-10-26T17:35:21Z) - Contrastive Self-supervised Sequential Recommendation with Robust
Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。
データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。
逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文 参考訳（メタデータ） (2021-08-14T07:15:25Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z) - Forecast Network-Wide Traffic States for Multiple Steps Ahead: A Deep
Learning Approach Considering Dynamic Non-Local Spatial Correlation and
Non-Stationary Temporal Dependency [6.019104024723682]
本研究では,交通予測における2つの問題について検討する。(1)交通リンク間の動的・非局所的な空間的相関を捉え,(2)正確な複数ステップの予測を行うための時間依存性のダイナミクスをモデル化する。
本稿では,これらの問題に対処するため,時空間列列モデル(STSeq2Seq)というディープラーニングフレームワークを提案する。
このモデルは、時間的特徴を捉えるためにシーケンスからシーケンス(seq2seq)アーキテクチャに基づいて構築され、空間情報を集約するためのグラフ畳み込みに依存している。
論文 参考訳（メタデータ） (2020-04-06T03:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。