論文の概要: FuXi-$γ$: Efficient Sequential Recommendation with Exponential-Power Temporal Encoder and Diagonal-Sparse Positional Mechanism

• arxiv url: http://arxiv.org/abs/2512.12740v1
• Date: Sun, 14 Dec 2025 15:38:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.411798
• Title: FuXi-$γ$: Efficient Sequential Recommendation with Exponential-Power Temporal Encoder and Diagonal-Sparse Positional Mechanism
• Title（参考訳）: FuXi-$γ$:指数パワーテンポラルエンコーダと対角スパース位置決め機構を備えた効率的なシーケンスレコメンデーション
• Authors: Dezhi Yi, Wei Guo, Wenyang Cui, Wenxuan He, Huifeng Guo, Yong Liu, Zhenhua Dong, Ye Lu,
• Abstract要約: シークエンシャルレコメンデーションは、履歴的相互作用に基づいて、ユーザの進化する好みをモデル化することを目的としている。 最近の進歩はTransformerベースのアーキテクチャを利用してグローバルな依存関係をキャプチャするが、既存のメソッドは高い計算オーバーヘッドに悩まされることが多い。 本稿では,Fuxi-$を提案する。Fuxi-$はアーキテクチャ設計の原則により,有効性と効率性を両立させる,新しいシーケンシャルレコメンデーションフレームワークである。
• 参考スコア（独自算出の注目度）: 29.71987131795976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential recommendation aims to model users' evolving preferences based on their historical interactions. Recent advances leverage Transformer-based architectures to capture global dependencies, but existing methods often suffer from high computational overhead, primarily due to discontinuous memory access in temporal encoding and dense attention over long sequences. To address these limitations, we propose FuXi-$γ$, a novel sequential recommendation framework that improves both effectiveness and efficiency through principled architectural design. FuXi-$γ$ adopts a decoder-only Transformer structure and introduces two key innovations: (1) An exponential-power temporal encoder that encodes relative temporal intervals using a tunable exponential decay function inspired by the Ebbinghaus forgetting curve. This encoder enables flexible modeling of both short-term and long-term preferences while maintaining high efficiency through continuous memory access and pure matrix operations. (2) A diagonal-sparse positional mechanism that prunes low-contribution attention blocks using a diagonal-sliding strategy guided by the persymmetry of Toeplitz matrix. Extensive experiments on four real-world datasets demonstrate that FuXi-$γ$ achieves state-of-the-art performance in recommendation quality, while accelerating training by up to 4.74$\times$ and inference by up to 6.18$\times$, making it a practical and scalable solution for long-sequence recommendation. Our code is available at https://github.com/Yeedzhi/FuXi-gamma.
• Abstract（参考訳）: シークエンシャルレコメンデーションは、履歴的相互作用に基づいて、ユーザの進化する好みをモデル化することを目的としている。 近年の進歩はTransformerベースのアーキテクチャを利用してグローバルな依存関係をキャプチャするが、既存の手法では時間的エンコーディングにおける不連続なメモリアクセスと長いシーケンスに対する集中的な注意が原因で、高い計算オーバーヘッドに悩まされることが多い。 これらの制約に対処するために,原理的アーキテクチャ設計による効率性と効率性を改善する新しいシーケンシャルレコメンデーションフレームワークFuXi-$γ$を提案する。 FuXi-$γ$はデコーダのみのトランスフォーマー構造を採用し、(1) 相対時間間隔をエンコードする指数パワー時間エンコーダ。 このエンコーダは、連続メモリアクセスと純粋マトリックス操作による高効率を維持しつつ、短期と長期の両方の好みの柔軟なモデリングを可能にする。 2) Toeplitz 行列のパー対称性によって誘導される斜めすべり戦略を用いて,低コントリビューションアテンションアテンションブロックを突発する対角-スパース位置決め機構について検討した。 4つの実世界のデータセットに対する大規模な実験により、FuXi-$γ$は推奨品質で最先端のパフォーマンスを実現し、トレーニングを最大4.74$\times$、推論を最大6.18$\times$に加速し、長いシーケンス推奨のための実用的でスケーラブルなソリューションであることが示された。 私たちのコードはhttps://github.com/Yeedzhi/FuXi-gamma.comで利用可能です。

関連論文リスト

• Gated Rotary-Enhanced Linear Attention for Long-term Sequential Recommendation [14.581838243440922]
  Gated Rotary Enhanced Linear Attention (RecGRELA) を用いた長期連続勧告モデルを提案する。 具体的には、長距離依存性を効率的にモデル化するロータリー強化線形注意(RELA)モジュールを提案する。 また,RELAのためのSiLUベースのGatedメカニズムを導入し,ユーザの行動が短期的,局所的,あるいは長期的嗜好の真の変化を示すかどうかをモデルに示す。
  論文  参考訳（メタデータ） (2025-06-16T09:56:10Z)
• Beyond Homogeneous Attention: Memory-Efficient LLMs via Fourier-Approximated KV Cache [67.47789629197857]
  本稿では,トランスヘッド次元の不均一な役割を生かした学習自由フレームワークを提案する。 フーリエアテンションは、長コンテキスト非感性次元をフーリエ基底に投影することにより、その時間的進化を固定長のスペクトル係数で近似する。 本稿では,FourierAttention が LongBench と Needle-In-A-Haystack 上で最高の長文精度を実現することを示す。
  論文  参考訳（メタデータ） (2025-06-13T15:35:54Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• xPatch: Dual-Stream Time Series Forecasting with Exponential Seasonal-Trend Decomposition [21.919661430250798]
  指数関数分解を利用した新しいデュアルストリームアーキテクチャを開発した。 本研究では,頑健なアークタンジエント損失関数とシグモイド学習率調整スキームを開発し,予測性能の過度化と向上を防止した。
  論文  参考訳（メタデータ） (2024-12-23T06:32:59Z)
• Fast Second-Order Online Kernel Learning through Incremental Matrix Sketching and Decomposition [44.61147231796296]
  オンライン学習(OKL)は、ストリーミング環境での予測性能が期待できるため、かなりの研究関心を集めている。 既存の2次OKLアプローチは、予め設定された予算に関して、少なくとも2次時間の複雑さに悩まされている。 本稿では,2次OKLに適した高速増分行列スケッチと分解手法FORTSを提案する。
  論文  参考訳（メタデータ） (2024-10-15T02:07:48Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation [80.2267931231335]
  本稿では,自己回帰(AR)デコーディングを高速化する投機的実行のアイデアを活用するための投機的デコーディング(SpecDec)を提案する。 SpecDecには2つのイノベーションがある。Spec-Drafter - 効率的なドラフトのために特別に最適化された独立モデル、Spec-Verification - ドラフトされたトークンを効率的に検証するための信頼性の高い方法である。
  論文  参考訳（メタデータ） (2022-03-30T17:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。