論文の概要: Long-Sequence Recommendation Models Need Decoupled Embeddings

• arxiv url: http://arxiv.org/abs/2410.02604v1
• Date: Thu, 3 Oct 2024 15:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 02:12:23.817132
• Title: Long-Sequence Recommendation Models Need Decoupled Embeddings
• Title（参考訳）: 長期的勧告モデルには非結合な埋め込みが必要である
• Authors: Ningya Feng, Junwei Pan, Jialong Wu, Baixu Chen, Ximei Wang, Qian Li, Xian Hu, Jie Jiang, Mingsheng Long,
• Abstract要約: 我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
• 参考スコア（独自算出の注目度）: 49.410906935283585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong user behavior sequences, comprising up to tens of thousands of history behaviors, are crucial for capturing user interests and predicting user responses in modern recommendation systems. A two-stage paradigm is typically adopted to handle these long sequences: a few relevant behaviors are first searched from the original long sequences via an attention mechanism in the first stage and then aggregated with the target item to construct a discriminative representation for prediction in the second stage. In this work, we identify and characterize, for the first time, a neglected deficiency in existing long-sequence recommendation models: a single set of embeddings struggles with learning both attention and representation, leading to interference between these two processes. Initial attempts to address this issue using linear projections -- a technique borrowed from language processing -- proved ineffective, shedding light on the unique challenges of recommendation models. To overcome this, we propose the Decoupled Attention and Representation Embeddings (DARE) model, where two distinct embedding tables are initialized and learned separately to fully decouple attention and representation. Extensive experiments and analysis demonstrate that DARE provides more accurate search of correlated behaviors and outperforms baselines with AUC gains up to 0.9% on public datasets and notable online system improvements. Furthermore, decoupling embedding spaces allows us to reduce the attention embedding dimension and accelerate the search procedure by 50% without significant performance impact, enabling more efficient, high-performance online serving.
• Abstract（参考訳）: 最大数万の履歴行動からなる生涯のユーザ行動シーケンスは、ユーザの興味を捉え、現代のレコメンデーションシステムにおけるユーザの反応を予測するために不可欠である。 2段階のパラダイムは、一般的にこれらの長いシーケンスを扱うために採用され、いくつかの関連する動作は、最初に最初の段階で注意機構を介して元の長いシーケンスから探索され、次にターゲットアイテムと集約されて、第2段階の予測のための識別的表現を構成する。 本研究では,従来の長期推薦モデルにおいて無視された欠陥を初めて認識し,特徴付けする: 埋め込みの1組は注意と表現の両方を学ぶのに苦労し,これら2つのプロセスの間に干渉をもたらす。 言語処理から借用されたテクニックである線形プロジェクションを使ってこの問題に対処する最初の試みは効果が無く、レコメンデーションモデルのユニークな課題に光を当てた。 これを解決するために,2つの異なる埋め込みテーブルを初期化し,個別に学習し,注意と表現を完全に分離するデカップリング・アテンション・アンド・リテンション・エンベッドディング(DARE)モデルを提案する。 大規模な実験と分析により、DAREは相関行動のより正確な検索を提供し、AUCによるベースラインのパフォーマンスは、パブリックデータセットと注目すべきオンラインシステムの改善で最大0.9%向上した。 さらに,組込み空間を疎結合することで,より効率的で高性能なオンラインサービスを実現することができ,注意込み次元を小さくし,検索手順を50%高速化することができる。

関連論文リスト

• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)
• Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
  そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。 さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。 実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-31T13:56:46Z)
• Attention Sequence to Sequence Model for Machine Remaining Useful Life Prediction [13.301585196004796]
  本稿では,ATS2Sモデルを用いた新しいアテンションベースシーケンスを考案する。 我々は、トレーニング過程において重要な入力情報すべてに焦点を合わせるために、注意機構を採用している。 提案手法は,13の最先端手法よりも優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2020-07-20T03:40:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。