論文の概要: SOLAR: SVD-Optimized Lifelong Attention for Recommendation
- arxiv url: http://arxiv.org/abs/2603.02561v1
- Date: Tue, 03 Mar 2026 03:28:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.62212
- Title: SOLAR: SVD-Optimized Lifelong Attention for Recommendation
- Title（参考訳）: SOLAR: SVDを最適化したリコメンデーションのためのライフタイムアテンション
- Authors: Chenghao Zhang, Chao Feng, Yuanhao Pu, Xunyong Yang, Wenhui Yu, Xiang Li, Yongqi Liu, Lantao Hu, Kaiqiao Zhan, Han Li, Kun Gai,
- Abstract要約: 本研究では,10分の1スケールの動作シーケンスと数千項目の候補セットをサポートするシーケンスモデリングフレームワークを提案する。
Kuaishou氏のオンラインレコメンデーションシナリオでは、SOLARは0.68%のビデオビューと追加のビジネスメトリクスの改善を提供する。
- 参考スコア（独自算出の注目度）: 27.436385353811257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention mechanism remains the defining operator in Transformers since it provides expressive global credit assignment, yet its $O(N^2 d)$ time and memory cost in sequence length $N$ makes long-context modeling expensive and often forces truncation or other heuristics. Linear attention reduces complexity to $O(N d^2)$ by reordering computation through kernel feature maps, but this reformulation drops the softmax mechanism and shifts the attention score distribution. In recommender systems, low-rank structure in matrices is not a rare case, but rather the default inductive bias in its representation learning, particularly explicit in the user behavior sequence modeling. Leveraging this structure, we introduce SVD-Attention, which is theoretically lossless on low-rank matrices and preserves softmax while reducing attention complexity from $O(N^2 d)$ to $O(Ndr)$. With SVD-Attention, we propose SOLAR, SVD-Optimized Lifelong Attention for Recommendation, a sequence modeling framework that supports behavior sequences of ten-thousand scale and candidate sets of several thousand items in cascading process without any filtering. In Kuaishou's online recommendation scenario, SOLAR delivers a 0.68\% Video Views gain together with additional business metrics improvements.
- Abstract（参考訳）: しかし、その$O(N^2 d)$時間とメモリコストはシーケンス長で$N$は長いコンテキストモデリングを高価にし、しばしばトランケーションや他のヒューリスティックを強制する。
リニアアテンションはカーネル特徴写像を通して計算を並べ替えることで複雑さを$O(N d^2)$に削減するが、この修正はソフトマックス機構を落とし、アテンションスコア分布をシフトさせる。
推薦システムでは、行列の低ランク構造はまれなケースではなく、表現学習におけるデフォルトの帰納バイアスであり、特にユーザ行動シーケンスモデリングにおいて明らかである。
この構造を利用して、SVD-Attentionを導入し、これは理論上低ランク行列ではロスレスであり、注意の複雑さを$O(N^2 d)$から$O(Ndr)$に減らしながらソフトマックスを保存する。
本稿では,SOLAR, SVD-Optimized Lifelong Attention for Recommendationを提案する。
Kuaishou氏のオンラインレコメンデーションシナリオでは、SOLARは0.68\%のビデオビューと追加のビジネスメトリクスの改善を提供する。
関連論文リスト
- Scalable LinUCB: Low-Rank Design Matrix Updates for Recommenders with Large Action Spaces [6.9187437863525645]
特にLinUCBはリコメンデータシステムで広く使われている。
本稿では,逆正規化設計行列を用いた高速かつメモリ効率の高い演算を実現するアルゴリズムであるScalable LinUCBを紹介する。
提案アルゴリズムの有効性を,レコメンデータシステムデータセットで実証した。
論文 参考訳（メタデータ） (2025-10-22T08:17:42Z) - The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。
鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。
我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
論文 参考訳（メタデータ） (2025-10-03T09:02:33Z) - StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold [51.93627542334909]
低ランク適応(LoRA)は大規模事前訓練モデルのパラメータ効率向上手法として広く採用されている。
3要素分解$U!SVtop$を使用するLoRAの幾何学的拡張を提案する。
論文 参考訳（メタデータ） (2025-10-02T11:59:13Z) - SAGA: Selective Adaptive Gating for Efficient and Expressive Linear Attention [10.607730369798551]
入力適応型学習ゲートを導入し,情報集約をKV$特徴写像に選択的に変調する。
SAGAはスループットが1.76$times$改善され、PVT-Tと比較してピークGPUメモリが2.69$times$削減された。
ImageNetデータセットでトップ1の精度を最大4.4%向上させ、計算効率とモデルの有効性を実証する。
論文 参考訳（メタデータ） (2025-09-16T08:36:05Z) - Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文 参考訳（メタデータ） (2025-06-27T11:23:10Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳（メタデータ） (2025-05-27T20:02:59Z) - Exemplar-Free Continual Learning for State Space Models [32.73275711666184]
State-Space Models (SSM) は構造化された再帰で長距離の依存関係をキャプチャする。
彼らの進化する内部状態は、継続的学習の下でそれらを適応する上で困難を生じさせる。
Inf-SSMを提案する。
論文 参考訳（メタデータ） (2025-05-24T08:59:13Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Exact Sequence Interpolation with Transformers [0.0]
変換器は, 有限入力列のデータセットを$mathbbRd$, $dgeq 2$で正確に補間できることを示す。
具体的には、$mathbbRd$の任意の長さの$N$シーケンスと$m1, dots, mN in MathcalN$の出力シーケンスを与えられた場合、$mathcalO(sum_j=1N mj)$ブロックと$で変換器を構築する。
論文 参考訳（メタデータ） (2025-02-04T12:31:00Z) - S$^3$Attention: Improving Long Sequence Attention with Smoothed Skeleton Sketching [51.38617149946765]
本稿ではスムースなスケルトンスケッチに基づくアテンション構造S$3$Attentionを提案する。
S$3$Attentionは、線形複雑性をシーケンス長に保ちながら、ノイズの影響を効果的に最小化する2つのメカニズムを持つ。
論文 参考訳（メタデータ） (2024-08-16T07:01:46Z) - Linformer: Self-Attention with Linear Complexity [36.5703957318311]
大規模なトランスモデルは、多くの自然言語処理アプリケーションにおいて最先端の結果を達成するのに極めて成功している。
Transformerの標準的な自己保持機構は、シーケンス長に対して$O(n2)$時間と空間を使用する。
そこで本研究では,時間と空間の両方において,全体の自己認識の複雑さを$O(n2)$から$O(n)$に削減する,新たな自己認識機構を提案する。
論文 参考訳（メタデータ） (2020-06-08T17:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。