論文の概要: FuXi-Linear: Unleashing the Power of Linear Attention in Long-term Time-aware Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2602.23671v1
- Date: Fri, 27 Feb 2026 04:38:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 19:48:24.250771
- Title: FuXi-Linear: Unleashing the Power of Linear Attention in Long-term Time-aware Sequential Recommendation
- Title（参考訳）: FuXi-Linear: 長期的時系列勧告における線形注意力の解放
- Authors: Yufei Ye, Wei Guo, Hao Wang, Luankang Zhang, Heng Chang, Hong Zhu, Yuyang Ye, Yong Liu, Defu Lian, Enhong Chen,
- Abstract要約: FuXi-Linearは、効率的なロングシーケンスレコメンデーションのために設計された線形複雑度モデルである。
提案手法では, 時間的データを用いて周期的注意重みを独立に計算し, 時間的信号と意味的信号のクロストークを防ぐ時間的保持チャネルと, 学習可能なカーネルを介して線形複雑度内で位置情報を統合する線形位置決めチャネルの2つの重要な要素を紹介する。
- 参考スコア（独自算出の注目度）: 86.55349738440087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern recommendation systems primarily rely on attention mechanisms with quadratic complexity, which limits their ability to handle long user sequences and slows down inference. While linear attention is a promising alternative, existing research faces three critical challenges: (1) temporal signals are often overlooked or integrated via naive coupling that causes mutual interference between temporal and semantic signals while neglecting behavioral periodicity; (2) insufficient positional information provided by existing linear frameworks; and (3) a primary focus on short sequences and shallow architectures. To address these issues, we propose FuXi-Linear, a linear-complexity model designed for efficient long-sequence recommendation. Our approach introduces two key components: (1) a Temporal Retention Channel that independently computes periodic attention weights using temporal data, preventing crosstalk between temporal and semantic signals; (2) a Linear Positional Channel that integrates positional information through learnable kernels within linear complexity. Moreover, we demonstrate that FuXi-Linear exhibits a robust power-law scaling property at a thousand-length scale, a characteristic largely unexplored in prior linear recommendation studies. Extensive experiments on sequences of several thousand tokens demonstrate that FuXi-Linear outperforms state-of-the-art models in recommendation quality, while achieving up to 10$\times$ speedup in the prefill stage and up to 21$\times$ speedup in the decode stage compared to competitive baselines. Our code has been released in a public repository https://github.com/USTC-StarTeam/fuxi-linear.
- Abstract（参考訳）: 現代のレコメンデーションシステムは、主に2次複雑さを持つ注意機構に依存しており、長いユーザーシーケンスを処理でき、推論を遅くする能力を制限する。
線形注意は有望な代替手段であるが,(1)時間的信号は,行動周期性を無視しながら時間的信号と意味的信号の相互干渉を引き起こすナイーブ結合によって見過ごされ,統合されることが多いこと,(2)既存の線形フレームワークが提供する位置情報が不十分であること,(3)短いシーケンスと浅いアーキテクチャに重点を置くこと,の3つの重要な課題に直面している。
これらの問題に対処するために, 線形複雑度モデルであるFuXi-Linearを提案する。
提案手法では,(1)時間的データを用いて周期的注意重みを独立に計算し,時間的信号と意味的信号のクロストークを防止する時間的保持チャネル,(2)学習可能なカーネルを介して線形複雑度内で位置情報を統合する線形位置決めチャネル,の2つの重要な要素を紹介する。
さらに,FuXi-Linearは1000長スケールで強靭なパワーロースケーリング特性を示すことを示した。
数千のトークンのシーケンスに関する大規模な実験は、FuXi-Linearが推奨品質で最先端モデルより優れており、プリフィル段階では最大10$\times$スピードアップ、デコード段階では最大21$\times$スピードアップを実現していることを示している。
私たちのコードは公開リポジトリ https://github.com/USTC-StarTeam/fuxi-linear.com でリリースされています。
関連論文リスト
- HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation [5.1321456889159425]
HyTRecは、短期的なインテントスパイクから長期的な安定した好みを分離するハイブリッドアテンションアーキテクチャを特徴とするモデルである。
提案手法は,産業規模で1万のインタラクションを含む正確な検索能力を復元する。
産業規模データセットの実証的な結果から,我々のモデルが線形推論速度を維持し,強いベースラインを上回っているという優位性が確認された。
論文 参考訳（メタデータ） (2026-02-20T15:11:40Z) - GEMs: Breaking the Long-Sequence Barrier in Generative Recommendation with a Multi-Stream Decoder [54.64137490632567]
本稿では,長期的履歴からユーザのシーケンスをキャプチャする新しい統一フレームワークを提案する。
GEM(Generative Multi-streamer)は、ユーザのシーケンスを3つのストリームに分割する。
大規模産業データセットに対する大規模な実験により、GEMは推奨精度において最先端の手法を大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-14T06:42:56Z) - Higher-order Linear Attention [59.92962330635185]
スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。
本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
論文 参考訳（メタデータ） (2025-10-31T07:54:37Z) - FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。
Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。
マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
論文 参考訳（メタデータ） (2025-07-07T04:09:45Z) - Deep Time Warping for Multiple Time Series Alignment [0.0]
時系列アライメントは多くの実世界のアプリケーションで信号処理において重要なタスクである。
本稿では,深層学習技術を活用した複数時系列アライメントのための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2025-02-22T18:55:51Z) - Fast Second-Order Online Kernel Learning through Incremental Matrix Sketching and Decomposition [44.61147231796296]
オンライン学習(OKL)は、ストリーミング環境での予測性能が期待できるため、かなりの研究関心を集めている。
既存の2次OKLアプローチは、予め設定された予算に関して、少なくとも2次時間の複雑さに悩まされている。
本稿では,2次OKLに適した高速増分行列スケッチと分解手法FORTSを提案する。
論文 参考訳（メタデータ） (2024-10-15T02:07:48Z) - Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。
埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。
本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
論文 参考訳（メタデータ） (2024-10-03T15:45:15Z) - Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。
提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-06-12T12:12:38Z) - Sketching as a Tool for Understanding and Accelerating Self-attention
for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。
我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。
理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文 参考訳（メタデータ） (2021-12-10T06:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。