論文の概要: Why Generate When You Can Transform? Unleashing Generative Attention for Dynamic Recommendation

• arxiv url: http://arxiv.org/abs/2508.02050v1
• Date: Mon, 04 Aug 2025 04:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 13:39:41.689166
• Title: Why Generate When You Can Transform? Unleashing Generative Attention for Dynamic Recommendation
• Title（参考訳）: なぜトランスフォーメーションができるのか? 動的レコメンデーションのためのジェネレーションアテンションを公開
• Authors: Yuli Liu, Wenjun Kong, Cheng Luo, Weizhi Ma,
• Abstract要約: SR(Sequential Recommendation)は,ユーザエクスペリエンスのパーソナライズに焦点をあてる。 トランスフォーマーモデルは、その注意機構とともに、SRタスクにおいて支配的なアーキテクチャとなっている。 本稿では,変分オートエンコーダ(VAE)と拡散モデル(DM)の原理を基礎として,SRの2つの生成的注意モデルを紹介する。
• 参考スコア（独自算出の注目度）: 9.365893765448366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential Recommendation (SR) focuses on personalizing user experiences by predicting future preferences based on historical interactions. Transformer models, with their attention mechanisms, have become the dominant architecture in SR tasks due to their ability to capture dependencies in user behavior sequences. However, traditional attention mechanisms, where attention weights are computed through query-key transformations, are inherently linear and deterministic. This fixed approach limits their ability to account for the dynamic and non-linear nature of user preferences, leading to challenges in capturing evolving interests and subtle behavioral patterns. Given that generative models excel at capturing non-linearity and probabilistic variability, we argue that generating attention distributions offers a more flexible and expressive alternative compared to traditional attention mechanisms. To support this claim, we present a theoretical proof demonstrating that generative attention mechanisms offer greater expressiveness and stochasticity than traditional deterministic approaches. Building upon this theoretical foundation, we introduce two generative attention models for SR, each grounded in the principles of Variational Autoencoders (VAE) and Diffusion Models (DMs), respectively. These models are designed specifically to generate adaptive attention distributions that better align with variable user preferences. Extensive experiments on real-world datasets show our models significantly outperform state-of-the-art in both accuracy and diversity.
• Abstract（参考訳）: SR(Sequential Recommendation)は,ユーザエクスペリエンスのパーソナライズに焦点をあてる。 トランスフォーマーモデルは、ユーザ行動シーケンスの依存関係をキャプチャできるため、SRタスクにおいて主要なアーキテクチャとなっている。 しかし、クエリキー変換によって注意重みが計算される従来の注意機構は本質的に線形で決定論的である。 この固定されたアプローチは、ユーザの好みの動的で非線形な性質を説明する能力を制限するもので、進化する関心や微妙な行動パターンを捉える上での課題につながります。 非線型性や確率的変動の獲得に優れた生成モデルを考えると、注意分布の生成は従来の注意機構よりも柔軟で表現力のある代替手段であると主張する。 この主張を支持するために、生成的注意機構が従来の決定論的アプローチよりも表現力と確率性が高いことを示す理論的証明を提案する。 この理論の基礎を基礎として,変分オートエンコーダ(VAE)と拡散モデル(DM)の原理に基づいて,SRの2つの生成的注意モデルを導入する。 これらのモデルは、ユーザの好みに応じて適応的な注意分布を生成するように設計されている。 実世界のデータセットに関する大規模な実験により、我々のモデルは精度と多様性の両方で最先端のモデルを示している。

関連論文リスト

• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains [50.66049136093248]
  動的因果要因と因果機構のドリフトを組み込んだ時間認識型構造因果モデル(SCM)を開発した。 本研究では,時間領域毎に最適な因果予測値が得られることを示す。 合成と実世界の両方のデータセットの結果から,SynCは時間的一般化性能に優れることが示された。
  論文  参考訳（メタデータ） (2025-06-21T14:05:37Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• WAVE: Weighted Autoregressive Varying Gate for Time Series Forecasting [9.114664059026767]
  本稿では,AR(Autoregressive Varying GatE attention mechanism)とMA(Moving-average)を併用した重み付き自己回帰Varying GatEアテンション機構を提案する。 様々な注意機構に適応し、時系列データの中で長距離および局所的な時間パターンをキャプチャする能力を強化し、分離することができる。
  論文  参考訳（メタデータ） (2024-10-04T05:45:50Z)
• Vision Augmentation Prediction Autoencoder with Attention Design (VAPAAD) [0.0]
  本研究では、注意機構をシーケンス予測に統合する革新的なアプローチである、意識設計付き視覚拡張予測オートエンコーダ(VAPAAD)を紹介する。 VAPAADはデータ拡張、ConvLSTM2Dレイヤ、およびカスタムビルドのセルフアテンションメカニズムを組み合わせて、シーケンス内の健全な特徴に効果的に集中し、予測精度とコンテキスト認識分析を強化する。
  論文  参考訳（メタデータ） (2024-04-15T19:06:58Z)
• On the Optimization and Generalization of Multi-head Attention [28.33164313549433]
  マルチアテンションヘッドを用いた場合の潜在的な最適化と一般化の利点について検討する。 単層多層自己アテンションモデルの勾配差学習における収束と一般化の保証を導出する。
  論文  参考訳（メタデータ） (2023-10-19T12:18:24Z)
• Refined Mechanism Design for Approximately Structured Priors via Active Regression [50.71772232237571]
  我々は、大量の商品を戦略的入札者に販売する収益を最大化する販売業者の問題を考える。 この設定の最適かつほぼ最適のメカニズムは、特徴付けや計算が難しいことで有名である。
  論文  参考訳（メタデータ） (2023-10-11T20:34:17Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints [16.48824312904122]
  我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。 これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
  論文  参考訳（メタデータ） (2020-12-12T04:18:50Z)
• Deep Neural Dynamic Bayesian Networks applied to EEG sleep spindles modeling [0.0]
  本稿では,視覚的スコアリングにおいて専門家が積極的に実施する制約を組み込んだ単一チャネル脳波生成モデルを提案する。 我々は、一般化期待最大化の特別な場合として、正確に、抽出可能な推論のためのアルゴリズムを導出する。 我々は、このモデルを3つの公開データセット上で検証し、より複雑なモデルが最先端の検出器を越えられるように支援する。
  論文  参考訳（メタデータ） (2020-10-16T21:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。