論文の概要: SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
- arxiv url: http://arxiv.org/abs/2607.24025v2
- Date: Mon, 03 Aug 2026 05:34:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 21:56:46.33325
- Title: SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
- Title（参考訳）: SpecFormer: 推奨のためのスペクトル認識変換器による埋め込みと注意崩壊の軽減
- Authors: Yu Cui, Yi Xu, Jiahao Wang, Hao Zhang, Yu Zhang, Xiaoyi Zeng, Can Wang, Jinxin Hu, Jiawei Chen,
- Abstract要約: SpecFormerは、新しいSpectral-Aware Transformerである。
実際の商用レコメンデーションシステムでうまくデプロイされ、例外的なスケーリング機能を示している。
- 参考スコア（独自算出の注目度）: 24.834582964149714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer architectures have achieved remarkable success across diverse domains; however, directly applying their standard self-attention mechanism to recommendation often yields suboptimal performance, sometimes even trailing behind well-designed simple recommendation models. In this paper, we reveal that this performance bottleneck stems from severe embedding and attention collapse unique to recommendation scenarios. The heterogeneity and long-tail nature of recommendation data lead to a severe spectral collapse dominated by a few principal singular values. We further theoretically demonstrate that this triggers a vicious cycle in recommendation model's forward and backward propagation, which accelerates embedding and attention collapse and limits the model's scaling capability with increased depth. To address these issues, we propose SpecFormer, a novel Spectral-Aware Transformer designed for mitigating embedding and attention collapse in recommendation. Specifically, SpecFormer introduces 1) a Learnable Spectral Softening module to dynamically smooth the singular values distribution of the input token embeddings; 2) a Spectrum-softened Attention mechanism to model feature interaction under a more uniform spectral distribution space; 3) a Spectral Residual Position Encoding via Taylor expansion of singular values, explicitly providing a spectral inductive bias for feature interactions. Extensive experiments on one industrial and two public datasets demonstrate that SpecFormer significantly outperforms state-of-the-art baselines. Notably, SpecFormer has been successfully deployed in a real-world commercial recommender system and exhibits exceptional scaling capabilities: stacking SpecFormer layers actively improves the attention effective rank and recommendation performance.
- Abstract（参考訳）: トランスフォーマーアーキテクチャは様々な領域で顕著な成功を収めてきたが、推奨に標準の自己認識機構を直接適用すると、しばしば準最適性能が得られ、時にはよく設計されたシンプルなレコメンデーションモデルに追随することもある。
本稿では,この性能ボトルネックが,レコメンデーションシナリオに特有の高度埋め込みと注意崩壊に起因することを明らかにする。
推薦データの不均一性と長い尾の性質は、いくつかの主特異値に支配される激しいスペクトル崩壊をもたらす。
さらに,この手法がモデルの前・後への伝播の悪循環を引き起こすことを理論的に証明し,埋め込みと注意の崩壊を加速し,モデルのスケーリング能力の増大を抑える。
これらの問題に対処するため,新しいSpectral-Aware Transformerを提案する。
具体的にはSpecFormerが紹介する
1) 入力トークン埋め込みの特異値分布を動的に滑らかにする学習可能なスペクトル軟化モジュール
2) より均一なスペクトル分布空間下での特徴的相互作用をモデル化するためのスペクトルソフトな注意機構
3) 特異値のテイラー展開によるスペクトル残差位置符号化は、特徴的相互作用に対するスペクトル帰納バイアスを明示的に与えている。
1つの産業用データセットと2つの公開データセットに関する大規模な実験は、SpecFormerが最先端のベースラインを大幅に上回っていることを示している。
特にSpecFormerは、実世界の商用レコメンデーションシステムでうまくデプロイされ、例外的なスケーリング機能を備えている。
関連論文リスト
- The Pitfall of Scaling Up: Uncovering and Mitigating Popularity Bias Amplification in Scaling Transformer-based Recommenders [26.25851138178879]
トランスフォーマーをベースとしたシーケンシャルレコメンデータのスケーリングにおける致命的な落とし穴を特定します。
モデルサイズの増加はレコメンデーションの精度を向上させるが、同時に人気バイアスを増幅する。
このバイアスにより、システムはニッチなアイテムを犠牲にして、人気のあるアイテムを過剰に推奨するようになる。
論文 参考訳（メタデータ） (2026-06-20T07:13:49Z) - Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。
マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。
SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
論文 参考訳（メタデータ） (2026-06-01T15:58:13Z) - DOC-GS: Dual-Domain Observation and Calibration for Reliable Sparse-View Gaussian Splatting [80.43237927269575]
本稿では,新しい視点からスパースビュー3DGSの再構築について再考する。
我々は、ガウスの原始的信頼性の観測不能性として、コアチャレンジを識別する。
この観測を動機として、レンダリング画像フレームワークにおける統合されたデュアルドメイン観測と幾何学的手法を提案する。
論文 参考訳（メタデータ） (2026-04-08T07:01:24Z) - TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。
本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
論文 参考訳（メタデータ） (2026-01-25T19:21:25Z) - Guiding Visual Autoregressive Models through Spectrum Weakening [44.26047250249648]
本稿では,視覚的自己回帰(AR)モデルのためのスペクトルウェアニングフレームワークを提案する。
これはスペクトル領域において制御可能な弱モデルを構築することによって達成される。
本手法は,条件生成の高速なアライメントを維持しつつ,高品質な非条件生成を可能にする。
論文 参考訳（メタデータ） (2025-11-28T08:52:50Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳（メタデータ） (2025-05-10T17:15:49Z) - ResiDual Transformer Alignment with Spectral Decomposition [31.14332778586179]
我々は、残像のスペクトル幾何学に着目し、視覚変換器の現象を解析する。
様々な入力データ分布にまたがる特殊な役割をエンコードしていることを示す。
本稿では,残流のスペクトルアライメント技術であるResiDualを紹介する。
論文 参考訳（メタデータ） (2024-10-31T22:51:45Z) - SpecFormer: Guarding Vision Transformer Robustness via Maximum Singular Value Penalization [39.09638432514626]
ビジョントランスフォーマー(ViT)は、ハイパフォーマンスのため、コンピュータビジョンでの利用が増えているが、敵攻撃に対する脆弱性が懸念されている。
本研究は, 敵攻撃に対するViTsの強化に適したSpecFormerを導入し, 理論的基盤となる。
論文 参考訳（メタデータ） (2024-01-02T14:27:24Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T15:32:59Z) - Attention that does not Explain Away [54.42960937271612]
Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。
Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。
本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
論文 参考訳（メタデータ） (2020-09-29T21:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。