論文の概要: Unleashing the Potential of Sparse Attention on Long-term Behaviors for CTR Prediction

• arxiv url: http://arxiv.org/abs/2601.17836v1
• Date: Sun, 25 Jan 2026 13:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.427498
• Title: Unleashing the Potential of Sparse Attention on Long-term Behaviors for CTR Prediction
• Title（参考訳）: CTR予測のための長期行動に対するスパース注意の可能性
• Authors: Weijiang Lai, Beihong Jin, Di Zhang, Siru Chen, Jiongyan Zhang, Yuhang Gou, Jian Dong, Xingxing Wang,
• Abstract要約: 本研究では,ユーザの長期行動に特化して設計された効率的かつ効果的なモデルであるSparseCTRを提案する。 これらのチャンクに基づいて,ユーザのグローバルな関心を共同で識別する3枝のスパース自己認識機構を提案する。 SparseCTRは効率を向上するだけでなく、最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.78352301235849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the success of large language models (LLMs) has driven the exploration of scaling laws in recommender systems. However, models that demonstrate scaling laws are actually challenging to deploy in industrial settings for modeling long sequences of user behaviors, due to the high computational complexity of the standard self-attention mechanism. Despite various sparse self-attention mechanisms proposed in other fields, they are not fully suited for recommendation scenarios. This is because user behaviors exhibit personalization and temporal characteristics: different users have distinct behavior patterns, and these patterns change over time, with data from these users differing significantly from data in other fields in terms of distribution. To address these challenges, we propose SparseCTR, an efficient and effective model specifically designed for long-term behaviors of users. To be precise, we first segment behavior sequences into chunks in a personalized manner to avoid separating continuous behaviors and enable parallel processing of sequences. Based on these chunks, we propose a three-branch sparse self-attention mechanism to jointly identify users' global interests, interest transitions, and short-term interests. Furthermore, we design a composite relative temporal encoding via learnable, head-specific bias coefficients, better capturing sequential and periodic relationships among user behaviors. Extensive experimental results show that SparseCTR not only improves efficiency but also outperforms state-of-the-art methods. More importantly, it exhibits an obvious scaling law phenomenon, maintaining performance improvements across three orders of magnitude in FLOPs. In online A/B testing, SparseCTR increased CTR by 1.72\% and CPM by 1.41\%. Our source code is available at https://github.com/laiweijiang/SparseCTR.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) の成功により,レコメンダシステムにおけるスケーリング法則の探求が進められている。 しかしながら、スケーリング法則を実証するモデルは、標準的な自己認識機構の計算量が多いため、実際には、ユーザ行動の長いシーケンスをモデル化するための産業環境での展開が困難である。 他の分野では多様な自己注意機構が提案されているが、推奨シナリオには適していない。 これは、ユーザ行動がパーソナライズと時間的特性を示すためである:異なるユーザが異なる行動パターンを持ち、これらのパターンは時間とともに変化する。 これらの課題に対処するために,ユーザの長期行動に特化して設計された効率的かつ効果的なモデルであるSparseCTRを提案する。 正確に言うと、動作シーケンスをパーソナライズされた方法でチャンクに分割し、連続的な動作の分離を回避し、シーケンスの並列処理を可能にする。 これらのチャンクに基づいて,ユーザのグローバルな関心,関心の推移,短期的な関心を共同で識別する,スパンチス・スパンチ・セルフアテンション機構を提案する。 さらに,学習可能な,頭部特異的バイアス係数による複合的時間的エンコーディングを設計し,ユーザ行動間の逐次的および周期的関係をよりよく捉える。 実験結果から, SparseCTRは効率を向上するだけでなく, 最先端の手法よりも優れることがわかった。 さらに重要なのは、FLOPの3桁にわたるパフォーマンス向上を保ちながら、明らかなスケーリング法則の現象を示すことだ。 オンラインA/Bテストでは、SparseCTRはCTRを1.72 %、CPMを1.41 %増加させた。 ソースコードはhttps://github.com/laiweijiang/SparseCTRで公開しています。

関連論文リスト

• GEMs: Breaking the Long-Sequence Barrier in Generative Recommendation with a Multi-Stream Decoder [54.64137490632567]
  本稿では,長期的履歴からユーザのシーケンスをキャプチャする新しい統一フレームワークを提案する。 GEM(Generative Multi-streamer)は、ユーザのシーケンスを3つのストリームに分割する。 大規模産業データセットに対する大規模な実験により、GEMは推奨精度において最先端の手法を大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-14T06:42:56Z)
• GenCI: Generative Modeling of User Interest Shift via Cohort-based Intent Learning for CTR Prediction [84.0125708499372]
  本稿では,クリックスルー率(CTR)予測のためのユーザ嗜好をモデル化するための生成ユーザ意図フレームワークを提案する。 このフレームワークはまず、次の項目の予測目標で訓練された生成モデルを使用して、候補の関心コホートを積極的に生成する。 階層的候補認識ネットワークは、このリッチなコンテキスト信号をランキングステージに注入し、ユーザ履歴とターゲットアイテムの両方に適合するように、クロスアテンションで精製する。
  論文  参考訳（メタデータ） (2026-01-26T08:15:04Z)
• BlossomRec: Block-level Fused Sparse Attention Mechanism for Sequential Recommendations [29.069570226262073]
  トランスフォーマー構造はシーケンシャルレコメンデータシステム(SRS)で広く使われている。 BlossomRecは、様々な長さのシーケンスで安定したパフォーマンスを達成するために、注意を通して長期と短期の両方のユーザー興味をモデル化する。
  論文  参考訳（メタデータ） (2025-12-15T14:23:57Z)
• ENCODE: Breaking the Trade-Off Between Performance and Efficiency in Long-Term User Behavior Modeling [12.963611514800656]
  EfficieNt Clustering を用いた twO-stage interest moDEling (ENCODE) と呼ばれる2段階の効率的な長期配列モデリング手法を提案する。 オフラインの抽出段階では、ENCODEは全動作シーケンスをクラスタリングし、正確な関心を抽出する。 オンライン推論の段階では、ECNODEは、ターゲットアイテムとの関連性を予測するために、既成のユーザ関心を生かしている。
  論文  参考訳（メタデータ） (2025-08-19T06:58:21Z)
• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Personalized Behavior-Aware Transformer for Multi-Behavior Sequential Recommendation [25.400756652696895]
  マルチビヘイビアシーケンスレコメンデーション(MBSR)問題に対するパーソナライズされた行動認識変換フレームワーク(PBAT)を提案する。 PBATは表現層にパーソナライズされた振舞いパターン生成器を開発し,逐次学習のための動的・識別的な振舞いパターンを抽出する。 3つのベンチマークデータセットで実験を行い、その結果、フレームワークの有効性と解釈性を示した。
  論文  参考訳（メタデータ） (2024-02-22T12:03:21Z)
• TBIN: Modeling Long Textual Behavior Data for CTR Prediction [15.056265935931377]
  クリックスルー率(CTR)予測は、レコメンデーションの成功において重要な役割を果たす。 近年の言語モデル(LM)の発展に触発されて,テキストテキスト形式でユーザ行動データを整理することで,予測を改善する作業が急増している。 有望ではあるが、これらの研究は、LMにおける自己注意の2次計算オーバーヘッドを減らすために、テキストデータを切り離さなければならない。 本稿では,textbfTextual textbfBehavior-based textbfInterest Chunking textbfNを提案する。
  論文  参考訳（メタデータ） (2023-08-09T03:48:41Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。