論文の概要: LinRec: Linear Attention Mechanism for Long-term Sequential Recommender Systems

• arxiv url: http://arxiv.org/abs/2411.01537v1
• Date: Sun, 03 Nov 2024 11:56:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-09 19:51:00.254451
• Title: LinRec: Linear Attention Mechanism for Long-term Sequential Recommender Systems
• Title（参考訳）: LinRec: 長期連続リコメンダシステムにおける線形アテンション機構
• Authors: Langming Liu, Xiangyu Zhao, Chi Zhang, Jingtong Gao, Wanyu Wang, Wenqi Fan, Yiqi Wang, Ming He, Zitao Liu, Qing Li,
• Abstract要約: 我々はトランスフォーマーに基づくシーケンスレコメンダシステム(LinRec)のための新しいL2正規化線形アテンションを提案する。 本稿では,LinRecが注意機構の特性を保ちながら線形複雑性を有することを示す。 実験は2つの公開ベンチマークデータセットに基づいて行われ、LinRecモデルとTransformerモデルの組み合わせが同等またはそれ以上のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 36.470868461685896
• License:
• Abstract: Transformer models have achieved remarkable success in sequential recommender systems (SRSs). However, computing the attention matrix in traditional dot-product attention mechanisms results in a quadratic complexity with sequence lengths, leading to high computational costs for long-term sequential recommendation. Motivated by the above observation, we propose a novel L2-Normalized Linear Attention for the Transformer-based Sequential Recommender Systems (LinRec), which theoretically improves efficiency while preserving the learning capabilities of the traditional dot-product attention. Specifically, by thoroughly examining the equivalence conditions of efficient attention mechanisms, we show that LinRec possesses linear complexity while preserving the property of attention mechanisms. In addition, we reveal its latent efficiency properties by interpreting the proposed LinRec mechanism through a statistical lens. Extensive experiments are conducted based on two public benchmark datasets, demonstrating that the combination of LinRec and Transformer models achieves comparable or even superior performance than state-of-the-art Transformer-based SRS models while significantly improving time and memory efficiency.
• Abstract（参考訳）: トランスフォーマーモデルはシーケンシャルレコメンデータシステム(SRS)において顕著な成功を収めた。 しかし、従来のドット積アテンション機構におけるアテンション行列の計算は、シーケンス長の2次複雑さをもたらすため、長期的レコメンデーションの計算コストが高くなる。 本研究の目的は,従来のドット積注意の学習能力を維持しつつ,理論的に効率を向上するトランスフォーマーベースのシーケンスレコメンダシステム(LinRec)のための,L2-Normalized Linear Attentionを提案することである。 具体的には、効率的な注意機構の等価条件を徹底的に検討することにより、LinRecは注意機構の特性を保ちながら線形複雑性を有することを示す。 さらに,提案したLinRec機構を統計的レンズで解釈することにより,その潜伏効率特性を明らかにする。 大規模な実験は2つの公開ベンチマークデータセットに基づいて行われ、LinRecモデルとTransformerモデルの組み合わせは、最先端のTransformerベースのSRSモデルと同等またはそれ以上のパフォーマンスを達成し、時間とメモリ効率を大幅に改善することを示した。

関連論文リスト

• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Fast Dual-Regularized Autoencoder for Sparse Biological Data [65.268245109828]
  本研究では,近傍正規化行列補完問題に対する浅層オートエンコーダを開発する。 本研究は, 薬物と薬物の相互作用と薬物の放出関連性を予測する上で, 既存の最先端技術に対するアプローチの速度と精度の優位性を実証する。
  論文  参考訳（メタデータ） (2024-01-30T01:28:48Z)
• Sequence-to-Sequence Model with Transformer-based Attention Mechanism and Temporal Pooling for Non-Intrusive Load Monitoring [0.0]
  本研究の目的は, 深層学習を用いた非侵入負荷モニタリング(NILM)の精度向上である。 提案手法は,変圧器に基づくアテンション機構を備えたSeq2Seqモデルを用いて,NILMデータの長期依存関係をキャプチャする。
  論文  参考訳（メタデータ） (2023-06-08T08:04:56Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。