論文の概要: Recurrent Preference Memory for Efficient Long-Sequence Generative Recommendation
- arxiv url: http://arxiv.org/abs/2602.11605v1
- Date: Thu, 12 Feb 2026 05:51:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.65823
- Title: Recurrent Preference Memory for Efficient Long-Sequence Generative Recommendation
- Title(参考訳): 効率的な時系列生成レコメンデーションのためのリカレント優先メモリ
- Authors: Yixiao Chen, Yuan Wang, Yue Liu, Qiyao Wang, Ke Cheng, Xin Xu, Juntong Yan, Shuojin Yang, Menghao Guo, Jun Zhang, Huan Yu, Jie Jiang,
- Abstract要約: 本稿では,長いユーザインタラクション履歴をコンパクトなPreference Memoryトークンに圧縮するフレームワークRec2PMを紹介する。
実験の結果、Rec2PMは推論遅延とメモリフットプリントを著しく低減し、フルシーケンスモデルよりも精度が高いことがわかった。
- 参考スコア(独自算出の注目度): 27.325586037888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative recommendation (GenRec) models typically model user behavior via full attention, but scaling to lifelong sequences is hindered by prohibitive computational costs and noise accumulation from stochastic interactions. To address these challenges, we introduce Rec2PM, a framework that compresses long user interaction histories into compact Preference Memory tokens. Unlike traditional recurrent methods that suffer from serial training, Rec2PM employs a novel self-referential teacher-forcing strategy: it leverages a global view of the history to generate reference memories, which serve as supervision targets for parallelized recurrent updates. This allows for fully parallel training while maintaining the capability for iterative updates during inference. Additionally, by representing memory as token embeddings rather than extensive KV caches, Rec2PM achieves extreme storage efficiency. Experiments on large-scale benchmarks show that Rec2PM significantly reduces inference latency and memory footprint while achieving superior accuracy compared to full-sequence models. Analysis reveals that the Preference Memory functions as a denoising Information Bottleneck, effectively filtering interaction noise to capture robust long-term interests.
- Abstract(参考訳): ジェネレーティブ・レコメンデーション(GenRec)モデルは、一般的には注意を払ってユーザーの振る舞いをモデル化するが、寿命の長いシーケンスへのスケーリングは、計算コストの禁止と確率的相互作用によるノイズ蓄積によって妨げられる。
これらの課題に対処するため,長いユーザインタラクション履歴をコンパクトなPreference Memoryトークンに圧縮するフレームワークであるRec2PMを紹介した。
シリアルトレーニングに苦しむ従来のリカレント手法とは異なり、Rec2PMは新たな自己参照型教師強制戦略を採用しており、履歴のグローバルなビューを利用して参照メモリを生成し、並列化されたリカレント更新の監視ターゲットとして機能する。
これにより、推論中に反復的な更新の能力を維持しながら、完全に並列なトレーニングが可能になる。
さらに、メモリをKVキャッシュではなくトークン埋め込みとして表現することで、Rec2PMは極端なストレージ効率を実現する。
大規模なベンチマーク実験により、Rec2PMは推論遅延とメモリフットプリントを著しく低減し、フルシーケンスモデルよりも精度が高いことが示されている。
分析によると、Preference Memory は認知的インフォメーション・ボトルネックとして機能し、相互作用ノイズを効果的にフィルタリングし、堅牢な長期的関心を捉えている。
関連論文リスト
- Scalable Sequential Recommendation under Latency and Memory Constraints [0.14053129774629072]
逐次リコメンデータシステムは、厳格なメモリとレイテンシの制約の下で動作しながら、長距離ユーザの振る舞いをモデル化する必要がある。
トランスフォーマーベースのアプローチは、高い精度を達成するが、二次的な注意の複雑さに悩まされる。
本稿では,属性認識の埋め込みのためのホログラフィック還元表現を組み合わせた,軽量なシーケンシャルレコメンデーションアーキテクチャであるHoloMambaRecを提案する。
論文 参考訳(メタデータ) (2026-01-13T09:16:49Z) - BlossomRec: Block-level Fused Sparse Attention Mechanism for Sequential Recommendations [29.069570226262073]
トランスフォーマー構造はシーケンシャルレコメンデータシステム(SRS)で広く使われている。
BlossomRecは、様々な長さのシーケンスで安定したパフォーマンスを達成するために、注意を通して長期と短期の両方のユーザー興味をモデル化する。
論文 参考訳(メタデータ) (2025-12-15T14:23:57Z) - CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。
トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
論文 参考訳(メタデータ) (2024-06-17T18:34:58Z) - CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。
KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。
検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文 参考訳(メタデータ) (2024-04-24T16:11:54Z) - Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。
長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。
動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
論文 参考訳(メタデータ) (2021-02-18T11:08:54Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z) - Sequential Recommender via Time-aware Attentive Memory Network [67.26862011527986]
本稿では,注意機構と繰り返し単位を改善するための時間ゲーティング手法を提案する。
また,長期と短期の嗜好を統合するマルチホップ・タイムアウェア・アテンテーティブ・メモリ・ネットワークを提案する。
提案手法は,候補探索タスクに対してスケーラブルであり,ドット積に基づくTop-Kレコメンデーションのための潜在因数分解の非線形一般化とみなすことができる。
論文 参考訳(メタデータ) (2020-05-18T11:29:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。