論文の概要: Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2506.13315v1
• Date: Mon, 16 Jun 2025 09:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.085823
• Title: Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation
• Title（参考訳）: Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation
• Authors: Juntao Hu, Wei Zhou, Huayi Shen, Xiao Du, Jie Liao, Junhao Wen, Min Gao,
• Abstract要約: Gated Rotary Enhanced Linear Attention (RecGRELA) を用いた長期連続勧告モデルを提案する。 まず,ユーザの履歴情報内の長距離依存性をモデル化するためのRELA(Rotary-Enhanced Linear Attention)モジュールを提案する。 次に、局所的選好を取り入れた局所的ショートオペレーションを導入し、理論的洞察を実証する。
• 参考スコア（独自算出の注目度）: 10.854799326775455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Sequential Recommendation Systems (SRSs), Transformer models show remarkable performance but face computation cost challenges when modeling long-term user behavior sequences due to the quadratic complexity of the dot-product attention mechanism. By approximating the dot-product attention, linear attention provides an efficient option with linear complexity. However, existing linear attention methods face two limitations: 1) they often use learnable position encodings, which incur extra computational costs in long-term sequence scenarios, and 2) they may not consider the user's fine-grained local preferences and confuse these with the actual change of long-term interests. To remedy these drawbacks, we propose a long-term sequential Recommendation model with Gated Rotary Enhanced Linear Attention (RecGRELA). Specifically, we first propose a Rotary-Enhanced Linear Attention (RELA) module to model long-range dependency within the user's historical information using rotary position encodings. We then introduce a local short operation to incorporate local preferences and demonstrate the theoretical insight. We further introduce a SiLU-based Gated mechanism for RELA (GRELA) to help the model determine whether a user's behavior indicates local interest or a genuine shift in long-term preferences. Experimental results on four public datasets demonstrate that our RecGRELA achieves state-of-the-art performance compared to existing SRSs while maintaining low memory overhead.
• Abstract（参考訳）: SRS(Sequential Recommendation Systems)では、ドット積アテンション機構の2次複雑さによる長期ユーザ行動シーケンスのモデル化において、トランスフォーマーモデルは顕著な性能を示すが、計算コストの課題に直面している。 ドット積の注意を近似することにより、線形の注意は線形の複雑さを伴う効率的な選択肢を提供する。 しかし、既存の線形注意法には2つの制限がある。 1)学習可能な位置エンコーディングをしばしば用い、長期のシーケンスシナリオにおいて余分な計算コストを発生させる。 2) 利用者の詳細な地域嗜好を考慮せず, 長期的関心事の変化と混同する場合がある。 これらの欠点を補うために,Gated Rotary Enhanced Linear Attention (RecGRELA) を用いた長期連続リコメンデーションモデルを提案する。 具体的には、まず、回転位置符号化を用いて、ユーザの履歴情報内の長距離依存性をモデル化する、ロータリー強化線形注意(RELA)モジュールを提案する。 次に、局所的選好を取り入れた局所的ショートオペレーションを導入し、理論的洞察を実証する。 さらに,ユーザの行動が局所的関心を示すか,あるいは長期的嗜好の真のシフトを示すかを決定するために,RELA(GRELA)のためのSiLUベースのGatedメカニズムを導入する。 4つの公開データセットの実験結果から、RecGRELAは、メモリオーバーヘッドを低く保ちながら、既存のSRSと比較して最先端のパフォーマンスを実現していることが示された。

関連論文リスト

• LinRec: Linear Attention Mechanism for Long-term Sequential Recommender Systems [36.470868461685896]
  我々はトランスフォーマーに基づくシーケンスレコメンダシステム(LinRec)のための新しいL2正規化線形アテンションを提案する。 本稿では,LinRecが注意機構の特性を保ちながら線形複雑性を有することを示す。 実験は2つの公開ベンチマークデータセットに基づいて行われ、LinRecモデルとTransformerモデルの組み合わせが同等またはそれ以上のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-11-03T11:56:00Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Sequential Recommender via Time-aware Attentive Memory Network [67.26862011527986]
  本稿では,注意機構と繰り返し単位を改善するための時間ゲーティング手法を提案する。 また,長期と短期の嗜好を統合するマルチホップ・タイムアウェア・アテンテーティブ・メモリ・ネットワークを提案する。 提案手法は,候補探索タスクに対してスケーラブルであり,ドット積に基づくTop-Kレコメンデーションのための潜在因数分解の非線形一般化とみなすことができる。
  論文  参考訳（メタデータ） (2020-05-18T11:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。