論文の概要: BlossomRec: Block-level Fused Sparse Attention Mechanism for Sequential Recommendations

• arxiv url: http://arxiv.org/abs/2512.13368v1
• Date: Mon, 15 Dec 2025 14:23:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.695648
• Title: BlossomRec: Block-level Fused Sparse Attention Mechanism for Sequential Recommendations
• Title（参考訳）: BlossomRec:シークエンシャルレコメンデーションのためのブロックレベル融合スパースアテンション機構
• Authors: Mengyang Ma, Xiaopeng Li, Wanyu Wang, Zhaocheng Du, Jingtong Gao, Pengyue Jia, Yuyang Ye, Yiqi Wang, Yunpeng Weng, Weihong Luo, Xiao Han, Xiangyu Zhao,
• Abstract要約: トランスフォーマー構造はシーケンシャルレコメンデータシステム(SRS)で広く使われている。 BlossomRecは、様々な長さのシーケンスで安定したパフォーマンスを達成するために、注意を通して長期と短期の両方のユーザー興味をモデル化する。
• 参考スコア（独自算出の注目度）: 29.069570226262073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer structures have been widely used in sequential recommender systems (SRS). However, as user interaction histories increase, computational time and memory requirements also grow. This is mainly caused by the standard attention mechanism. Although there exist many methods employing efficient attention and SSM-based models, these approaches struggle to effectively model long sequences and may exhibit unstable performance on short sequences. To address these challenges, we design a sparse attention mechanism, BlossomRec, which models both long-term and short-term user interests through attention computation to achieve stable performance across sequences of varying lengths. Specifically, we categorize user interests in recommendation systems into long-term and short-term interests, and compute them using two distinct sparse attention patterns, with the results combined through a learnable gated output. Theoretically, it significantly reduces the number of interactions participating in attention computation. Extensive experiments on four public datasets demonstrate that BlossomRec, when integrated with state-of-the-art Transformer-based models, achieves comparable or even superior performance while significantly reducing memory usage, providing strong evidence of BlossomRec's efficiency and effectiveness.The code is available at https://github.com/ronineume/BlossomRec.
• Abstract（参考訳）: トランスフォーマー構造はシーケンシャルレコメンダシステム(SRS)で広く使われている。 しかし、ユーザインタラクション履歴が増加するにつれて、計算時間とメモリ要求も増加する。 これは主に標準的な注意機構によって引き起こされる。 効率的な注意力とSSMに基づくモデルを用いた手法は数多く存在するが、これらの手法は長周期を効果的にモデル化するのに苦労し、短周期で不安定な性能を示す可能性がある。 これらの課題に対処するため,我々は,長期的および短期的なユーザの関心事の両方をアテンション計算によりモデル化し,様々な長さのシーケンスにまたがって安定したパフォーマンスを実現する,スパースアテンション機構であるBlossomRecを設計する。 具体的には、リコメンデーションシステムにおけるユーザの関心を、長期的および短期的な関心に分類し、2つの異なる注意パターンを用いて計算する。 理論的には、注意計算に参加する相互作用の数を大幅に減少させる。 4つの公開データセットに関する大規模な実験によると、最先端のTransformerベースのモデルに統合されたBlossomRecは、メモリ使用量の大幅な削減と、BlossomRecの効率と有効性の強い証拠を提供すると同時に、同等あるいはそれ以上のパフォーマンスを実現している。

関連論文リスト

• InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation [56.694702609077495]
  ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。 InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションフレームワークである。 実験では、InfLLM-V2は高密度の注意より4$times$速いが、98.1%と99.7%のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-09-29T12:08:33Z)
• Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation [14.581838243440922]
  Gated Rotary Enhanced Linear Attention (RecGRELA) を用いた長期連続勧告モデルを提案する。 具体的には、長距離依存性を効率的にモデル化するロータリー強化線形注意(RELA)モジュールを提案する。 また,RELAのためのSiLUベースのGatedメカニズムを導入し,ユーザの行動が短期的,局所的,あるいは長期的嗜好の真の変化を示すかどうかをモデルに示す。
  論文  参考訳（メタデータ） (2025-06-16T09:56:10Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
  DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。 長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。 動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
  論文  参考訳（メタデータ） (2021-02-18T11:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。