論文の概要: An Attentive Inductive Bias for Sequential Recommendation Beyond the Self-Attention

• arxiv url: http://arxiv.org/abs/2312.10325v1
• Date: Sat, 16 Dec 2023 05:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 17:15:54.417631
• Title: An Attentive Inductive Bias for Sequential Recommendation Beyond the Self-Attention
• Title（参考訳）: 自己注意を超えたシーケンスレコメンデーションのための注意的インダクティブバイアス
• Authors: Yehjin Shin, Jeongwhan Choi, Hyowon Wi, Noseong Park
• Abstract要約: 本稿では,コンピュータビジョンと自然言語処理のためのトランスフォーマーの自己注意機構が,過度な問題に悩まされていることを示す。 本研究では, 逐次的パターンの微粒化を考慮し, 帰納的バイアスを注入するBSARec(Beyond Self-Attention for Sequential Recommendation)という手法を提案する。 我々の発見は、SRドメインの大幅な進歩を示し、既存のTransformerベースのSRモデルのギャップを埋めることが期待されている。
• 参考スコア（独自算出の注目度）: 23.610204672115195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential recommendation (SR) models based on Transformers have achieved remarkable successes. The self-attention mechanism of Transformers for computer vision and natural language processing suffers from the oversmoothing problem, i.e., hidden representations becoming similar to tokens. In the SR domain, we, for the first time, show that the same problem occurs. We present pioneering investigations that reveal the low-pass filtering nature of self-attention in the SR, which causes oversmoothing. To this end, we propose a novel method called Beyond Self-Attention for Sequential Recommendation (BSARec), which leverages the Fourier transform to i) inject an inductive bias by considering fine-grained sequential patterns and ii) integrate low and high-frequency information to mitigate oversmoothing. Our discovery shows significant advancements in the SR domain and is expected to bridge the gap for existing Transformer-based SR models. We test our proposed approach through extensive experiments on 6 benchmark datasets. The experimental results demonstrate that our model outperforms 7 baseline methods in terms of recommendation performance.
• Abstract（参考訳）: トランスフォーマーに基づく逐次レコメンデーション(SR)モデルは、目覚ましい成功を収めた。 コンピュータビジョンと自然言語処理のためのトランスフォーマーの自己着脱機構は、過度に滑らかな問題、すなわちトークンに類似した隠れた表現に苦しむ。 srドメインでは、私たちは初めて同じ問題が発生することを示します。 我々は,SRにおける自己注意の低パスフィルタの性質を明らかにする先駆的な研究を行い,過度なスムーシングを引き起こす。 そこで本研究では,Fourier変換を利用したBSARec(Beyond Self-Attention for Sequential Recommendation)という新しい手法を提案する。 一 微粒な連続パターンを考慮し、誘導バイアスを注入すること 二 過密を緩和するために低周波情報を統合すること。 我々の発見は、SRドメインの大幅な進歩を示し、既存のTransformerベースのSRモデルのギャップを埋めることが期待されている。 提案手法は,6つのベンチマークデータセットの広範な実験を通じて検証する。 実験の結果,提案モデルがレコメンデーション性能で7つのベースラインメソッドを上回った。

関連論文リスト

• Continuous Speculative Decoding for Autoregressive Image Generation [33.05392461723613]
  連続評価された自己回帰(AR)画像生成モデルは、離散的傾向よりも顕著な優位性を示している。 投機的復号化は大規模言語モデル(LLM)の加速に有効であることが証明された この研究は離散トークンから連続空間への投機的復号アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability [34.43255978863601]
  いくつかの説では、トランスフォーマーはオートレアトレーニング中にmesa-optimizerを学習する。 データモーメントに関する強い仮定は、学習されたメザ最適化器が実行可能な十分な必要条件であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T05:41:06Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer [61.818320703583126]
  逐次レコメンデーションはアイテムシーケンスを時系列的にモデル化することで進化するパターンを特徴付ける。 最近のトランスフォーマの開発はコミュニティに効果的なシーケンスエンコーダの設計を促している。 textbfseudo-prior items(asrep)を用いたtextbfsequential textbfrecommendationのためのtextbfaugmentingの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-02T18:06:23Z)
• Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs [11.1546439770774]
  極度のペイオフを伴うバンディット問題におけるオンライン意思決定のための新しいタイプの獲得機能を提示する。 我々は,最も関連性が高いと考えられる盗賊を探索する新しいタイプの上位信頼境界(UCB)取得関数を定式化する。
  論文  参考訳（メタデータ） (2021-02-19T18:36:03Z)
• Stratified Rule-Aware Network for Abstract Visual Reasoning [46.015682319351676]
  Raven's Progressive Matrices (RPM) テストは一般的に抽象的推論の能力を調べるために使用される。 畳み込みニューラルネットワーク(CNN)を利用した最近の研究は、RPMテストを達成するための奨励的な進歩を達成している。 本稿では,2つの入力シーケンスに対するルール埋め込みを生成するためのSRAN(Stratified Rule-Aware Network)を提案する。
  論文  参考訳（メタデータ） (2020-02-17T08:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。