論文の概要: Beyond Interleaving: Causal Attention Reformulations for Generative Recommender Systems

• arxiv url: http://arxiv.org/abs/2603.10369v1
• Date: Wed, 11 Mar 2026 03:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.762957
• Title: Beyond Interleaving: Causal Attention Reformulations for Generative Recommender Systems
• Title（参考訳）: インターリービングを超えて:ジェネレーティブレコメンダシステムのための因果注意改革
• Authors: Hailing Cheng,
• Abstract要約: AttnLFA(Late Fusion for Actions)とAttnMVP(Mixed Value Pooling)を紹介する。 これらのモデルは、Transformerベースのシーケンスモデリングの表現力を維持しながら、$i_n rightarrow a_n$因果依存性を明示的にエンコードする。 我々は,大手ソーシャルネットワークからの大規模製品レコメンデーションデータに関するフレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 0.14930644306169805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Recommender Systems (GR) increasingly model user behavior as a sequence generation task by interleaving item and action tokens. While effective, this formulation introduces significant structural and computational inefficiencies: it doubles sequence length, incurs quadratic overhead, and relies on implicit attention to recover the causal relationship between an item and its associated action. Furthermore, interleaving heterogeneous tokens forces the Transformer to disentangle semantically incompatible signals, leading to increased attention noise and reduced representation efficiency.In this work, we propose a principled reformulation of generative recommendation that aligns sequence modeling with underlying causal structures and attention theory. We demonstrate that current interleaving mechanisms act as inefficient proxies for similarity-weighted action pooling. To address this, we introduce two novel architectures that eliminate interleaved dependencies to reduce sequence complexity by 50%: Attention-based Late Fusion for Actions (AttnLFA) and Attention-based Mixed Value Pooling (AttnMVP). These models explicitly encode the $i_n \rightarrow a_n$ causal dependency while preserving the expressive power of Transformer-based sequence modeling.We evaluate our framework on large-scale product recommendation data from a major social network. Experimental results show that AttnLFA and AttnMVP consistently outperform interleaved baselines, achieving evaluation loss improvements of 0.29% and 0.80%, and significant gains in Normalized Entropy (NE). Crucially, these performance gains are accompanied by training time reductions of 23% and 12%, respectively. Our findings suggest that explicitly modeling item-action causality provides a superior design paradigm for scalable and efficient generative ranking.
• Abstract（参考訳）: Generative Recommender Systems (GR)は、アイテムとアクショントークンをインターリーブすることで、シーケンス生成タスクとしてユーザー動作をモデル化する。 シーケンスの長さを2倍にし、二次的オーバーヘッドを発生させ、アイテムと関連するアクションの間の因果関係を回復するために暗黙の注意を払っている。 さらに,異種トークンを介在させることにより,トランスフォーマーは意味的に不整合な信号を切り離し,注意ノイズの増大と表現効率の低下につながる。 本研究では, 現在のインターリーブ機構が類似性重み付け動作プールの非効率なプロキシとして機能することを実証する。 これを解決するために,AttnLFA (Retent-based Late Fusion for Actions) とAttnMVP (Mixed Value Pooling) の2つの新しいアーキテクチャを導入する。 これらのモデルは、Transformerベースのシーケンスモデリングの表現力を維持しながら、$i_n \rightarrow a_n$因果依存性を明示的に符号化する。 実験結果から,AttnLFAとAttnMVPはインターリーブベースラインを一貫して上回り,0.29%と0.80%の評価損失改善を実現し,正規化エントロピー(NE)において有意な向上を示した。 これらのパフォーマンス向上には,それぞれ23%と12%のトレーニング時間短縮が伴う。 この結果から,アイテムアクション因果関係を明示的にモデル化することは,スケーラブルで効率的な生成的ランク付けに優れた設計パラダイムをもたらすことが示唆された。

関連論文リスト

• Beyond the Flat Sequence: Hierarchical and Preference-Aware Generative Recommendations [35.58864660038236]
  我々はHPGR(Hierarchical and Preference-aware Generative Recommender)という新しいフレームワークを提案する。 まず、構造化を意識した事前学習段階において、セッションベースのMasked Item Modelingの目的を用いて、階層的にインフォームドされ、セマンティックにリッチなアイテム表現空間を学ぶ。 第二に、プライオリティ対応の微調整ステージは、これらの強力な表現を活用して、Preference-Guided Sparse Attentionメカニズムを実装する。
  論文  参考訳（メタデータ） (2026-03-01T08:15:34Z)
• MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders [11.566232697512879]
  MixFormerは、レコメンデーションシステム用に設計されたTransformerスタイルの統一アーキテクチャである。 単一のバックボーン内でのシーケンシャルな振る舞いと特徴的相互作用を共同でモデル化する。 大規模産業データセットの実験は、MixFormerが常に優れた精度と効率を示すことを示した。
  論文  参考訳（メタデータ） (2026-02-15T11:53:30Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• HoMer: Addressing Heterogeneities by Modeling Sequential and Set-wise Contexts for CTR Prediction [10.779868699316829]
  逐次的および集合的コンテキストをモデル化するためのホモジニアス指向トランスフォーマーであるHoMerを提案する。 HoMerは、AUCメトリックで工業ベースラインを0.0099向上させ、CTR/RPMのようなオンラインビジネスメトリクスを1.99%/2.46%向上させています。
  論文  参考訳（メタデータ） (2025-10-13T07:47:03Z)
• Surrogate Modeling via Factorization Machine and Ising Model with Enhanced Higher-Order Interaction Learning [4.327676717016638]
  本稿では,因子化マシンとそれに関連するIsing表現の両方にスラック変数を付加した拡張サロゲートモデルを提案する。 提案手法を薬物併用効果の予測に応用する。
  論文  参考訳（メタデータ） (2025-07-02T06:10:49Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。