論文の概要: Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2506.13315v2
• Date: Sun, 02 Nov 2025 13:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 18:19:02.751829
• Title: Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation
• Title（参考訳）: Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation
• Authors: Juntao Hu, Wei Zhou, Huayi Shen, Xiao Du, Jie Liao, Min Gao, Jun Zeng, Junhao Wen,
• Abstract要約: Gated Rotary Enhanced Linear Attention (RecGRELA) を用いた長期連続勧告モデルを提案する。 具体的には、長距離依存性を効率的にモデル化するロータリー強化線形注意(RELA)モジュールを提案する。 また,RELAのためのSiLUベースのGatedメカニズムを導入し,ユーザの行動が短期的,局所的,あるいは長期的嗜好の真の変化を示すかどうかをモデルに示す。
• 参考スコア（独自算出の注目度）: 14.581838243440922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Sequential Recommendation Systems (SRSs), Transformer models have demonstrated remarkable performance but face computational and memory cost challenges, especially when modeling long-term user behavior sequences. Due to its quadratic complexity, the dot-product attention mechanism in Transformers becomes expensive for processing long sequences. By approximating the dot-product attention using elaborate mapping functions, linear attention provides a more efficient option with linear complexity. However, existing linear attention methods face three limitations: 1) they often use learnable position encodings, which incur extra computational costs in long-term sequence scenarios, 2) they may not sufficiently account for user's fine-grained local preferences (short-lived burst of interest), and 3) they try to capture some temporary activities, but often confuse these with stable and long-term interests. This can result in unclear or less effective recommendations. To remedy these drawbacks, we propose a long-term sequential Recommendation model with Gated Rotary Enhanced Linear Attention (RecGRELA). Specifically, we first propose a Rotary-Enhanced Linear Attention (RELA) module to efficiently model long-range dependency within the user's historical information using rotary position encodings. Then, we introduce a local short operation to add the local preferences of interactions and show the theoretical insight. We further introduce a SiLU-based Gated mechanism for RELA (GRELA) to help the model tell if a user behavior shows a short-term, local interest or a real change in their long-term tastes. Experimental results on four public benchmark datasets show that our RecGRELA achieves state-of-the-art performance compared with existing SRSs based on Recurrent Neural Networks, Transformer, and Mamba while keeping low memory overhead.
• Abstract（参考訳）: シークエンシャルレコメンデーションシステム(SRS)では、トランスフォーマーモデルは顕著な性能を示したが、特に長期ユーザ行動シーケンスをモデル化する場合、計算とメモリコストの課題に直面している。 二次的な複雑さのため、トランスフォーマーのドット積アテンション機構は長いシーケンスを処理するのに高価になる。 精巧な写像関数を用いてドット積の注意を近似することにより、線形の注意は線形の複雑さを伴うより効率的な選択肢を提供する。 しかし、既存の線形注意法には3つの制限がある。 1)学習可能な位置エンコーディングをしばしば使用し、長期のシーケンスシナリオにおいて余分な計算コストを発生させる。 2) 利用者のきめ細かい地域嗜好(短命の利害感)を十分に説明できない場合があり、 3) 一時的な活動を捉えようとするが、しばしばこれらを安定した長期的利益と混同する。 これが原因で、不明確な、あるいは効果の低いレコメンデーションが生まれます。 これらの欠点を補うために,Gated Rotary Enhanced Linear Attention (RecGRELA) を用いた長期連続リコメンデーションモデルを提案する。 具体的には、まず、回転位置符号化を用いて、ユーザの履歴情報内の長距離依存性を効率的にモデル化する、ロータリー強化線形注意(RELA)モジュールを提案する。 次に,局所的なショートオペレーションを導入し,インタラクションの局所的な嗜好を付加し,理論的洞察を示す。 さらに,ユーザの行動が短期的,局所的,あるいは長期的嗜好の真の変化を示すかどうかをモデルが判断する上で,RELA(GRELA)のためのSiLUベースのGatedメカニズムを導入する。 4つの公開ベンチマークデータセットの実験結果から、RecGRELAは、メモリオーバーヘッドを低く保ちながら、Recurrent Neural Networks、Transformer、Mambaに基づく既存のSRSと比較して、最先端のパフォーマンスを実現していることが示された。

関連論文リスト

• When Relevance Meets Novelty: Dual-Stable Periodic Optimization for Exploratory Recommendation [6.663356205396985]
  大規模言語モデル(LLM)は、その多様なコンテンツ生成能力でポテンシャルを示す。 既存のLLM拡張デュアルモデルフレームワークには2つの大きな制限がある。 まず、グループアイデンティティによって引き起こされる長期的な嗜好を見落とし、関心モデリングのバイアスにつながる。 第二に、1回のアライメントプロセスでは、クローズドループ最適化にインクリメンタルなユーザデータを活用することができないため、静的な最適化の欠陥に悩まされる。
  論文  参考訳（メタデータ） (2025-08-01T09:10:56Z)
• LinRec: Linear Attention Mechanism for Long-term Sequential Recommender Systems [36.470868461685896]
  我々はトランスフォーマーに基づくシーケンスレコメンダシステム(LinRec)のための新しいL2正規化線形アテンションを提案する。 本稿では,LinRecが注意機構の特性を保ちながら線形複雑性を有することを示す。 実験は2つの公開ベンチマークデータセットに基づいて行われ、LinRecモデルとTransformerモデルの組み合わせが同等またはそれ以上のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-11-03T11:56:00Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling [70.64257515361972]
  テールユーザに注力することで、より多くのメリットをもたらし、長いテールの問題に対処できる、と私たちは主張しています。 具体的には、頭部から尾部への知識伝達を容易にするために、勾配アライメントを提案し、敵のトレーニングスキームを採用する。
  論文  参考訳（メタデータ） (2020-10-22T03:12:02Z)
• Sequential Recommender via Time-aware Attentive Memory Network [67.26862011527986]
  本稿では,注意機構と繰り返し単位を改善するための時間ゲーティング手法を提案する。 また,長期と短期の嗜好を統合するマルチホップ・タイムアウェア・アテンテーティブ・メモリ・ネットワークを提案する。 提案手法は,候補探索タスクに対してスケーラブルであり,ドット積に基づくTop-Kレコメンデーションのための潜在因数分解の非線形一般化とみなすことができる。
  論文  参考訳（メタデータ） (2020-05-18T11:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。