論文の概要: Pay Attention to Attention for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2410.21048v1
• Date: Mon, 28 Oct 2024 14:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 11:30:33.560585
• Title: Pay Attention to Attention for Sequential Recommendation
• Title（参考訳）: 逐次勧告の留意に対する支払い
• Authors: Yuli Liu, Min Liu, Xiaojing Liu,
• Abstract要約: トランスフォーマーベースのアプローチは、様々なシーケンスベースのタスクで顕著な成功を収めている。 我々は、注意重み改善(AWRR)と呼ばれる新しい逐次レコメンデーション(SR)アプローチを提案する。 AWRRは注意重みに注意を払い、アイテム間の相関関係のより洗練された注意分布を可能にする。 我々は、複数の実世界のデータセットに関する包括的な実験を行い、我々のアプローチが最先端のSRモデルより一貫して優れていることを示した。
• 参考スコア（独自算出の注目度）: 8.228670498220016
• License:
• Abstract: Transformer-based approaches have demonstrated remarkable success in various sequence-based tasks. However, traditional self-attention models may not sufficiently capture the intricate dependencies within items in sequential recommendation scenarios. This is due to the lack of explicit emphasis on attention weights, which play a critical role in allocating attention and understanding item-to-item correlations. To better exploit the potential of attention weights and improve the capability of sequential recommendation in learning high-order dependencies, we propose a novel sequential recommendation (SR) approach called attention weight refinement (AWRSR). AWRSR enhances the effectiveness of self-attention by additionally paying attention to attention weights, allowing for more refined attention distributions of correlations among items. We conduct comprehensive experiments on multiple real-world datasets, demonstrating that our approach consistently outperforms state-of-the-art SR models. Moreover, we provide a thorough analysis of AWRSR's effectiveness in capturing higher-level dependencies. These findings suggest that AWRSR offers a promising new direction for enhancing the performance of self-attention architecture in SR tasks, with potential applications in other sequence-based problems as well.
• Abstract（参考訳）: トランスフォーマーベースのアプローチは、様々なシーケンスベースのタスクで顕著な成功を収めている。 しかし、従来の自己注意モデルは、シーケンシャルなレコメンデーションシナリオにおいて、アイテム内の複雑な依存関係を十分に捉えていないかもしれない。 これは、注意重みの明示的な強調が欠如していることによるものであり、注意の割当とアイテム間相関の理解において重要な役割を担っている。 注意重みの可能性をうまく活用し、高次依存関係学習におけるシーケンシャルレコメンデーションの能力を向上させるために、注意重み改善(AWRSR)と呼ばれる新しいシーケンシャルレコメンデーション(SR)アプローチを提案する。 AWRSRは、注意重みに注意を払うことで自己注意の有効性を高め、アイテム間の相関関係のより洗練された注意分布を可能にする。 我々は、複数の実世界のデータセットに関する包括的な実験を行い、我々のアプローチが最先端のSRモデルより一貫して優れていることを示した。 さらに, AWRSRが高レベルの依存関係を捕捉する際の有効性について, 徹底的な分析を行った。 これらの結果から,AWRSRはSRタスクにおける自己注意アーキテクチャの性能向上に有望な新たな方向性を提供し,他のシーケンスベース問題にも応用できる可能性が示唆された。

関連論文リスト

• Sequential Recommendation via Adaptive Robust Attention with Multi-dimensional Embeddings [7.207685588038045]
  逐次レコメンデーションモデルは自己認識機構を用いて最先端のパフォーマンスを達成した。 アイテムIDと位置埋め込みのみの使用を超えて移動すると、次の項目を予測するときにかなりの精度が向上する。 モデルの頑健さと一般化を改善するため,レイヤワイドノイズインジェクション(LNI)正則化を用いたミックスアテンション機構を導入する。
  論文  参考訳（メタデータ） (2024-09-08T08:27:22Z)
• ASR: Attention-alike Structural Re-parameterization [53.019657810468026]
  本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。 本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
  論文  参考訳（メタデータ） (2023-04-13T08:52:34Z)
• Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions [63.773813221460614]
  同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。 本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。 実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-05-20T14:52:03Z)
• Decoupled Side Information Fusion for Sequential Recommendation [6.515279047538104]
  シーケンスレコメンデーションのためのデカップリングサイド情報融合(DIF-SR)を提案する。 入力から注目層に側情報を移動し、様々な側情報の注意計算とアイテム表現を分離する。 提案手法は現状のSRモデルより安定して優れている。
  論文  参考訳（メタデータ） (2022-04-23T10:53:36Z)
• Choosing the Best of Both Worlds: Diverse and Novel Recommendations through Multi-Objective Reinforcement Learning [68.45370492516531]
  本稿では,Recommender Systems (RS) 設定のための拡張多目的強化学習(SMORL)を紹介する。 SMORLエージェントは、標準レコメンデーションモデルを拡張し、RLレイヤーを追加し、3つの主要な目的(正確性、多様性、新しいレコメンデーション)を同時に満たすように強制する。 実世界の2つのデータセットに対する実験結果から,集約的多様性の顕著な増加,精度の適度な向上,レコメンデーションの反復性の低下,および相補的目的としての多様性と新規性の強化の重要性が示された。
  論文  参考訳（メタデータ） (2021-10-28T13:22:45Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Capturing Multi-Resolution Context by Dilated Self-Attention [58.69803243323346]
  限定的自己意識と拡張メカニズムの組み合わせを提案し,これを拡張的自己意識と呼ぶ。 制限された自己注意は、高分解能でクエリの隣接するフレームに注意を払い、拡張メカニズムは、より低い解像度でそれに出席できるように遠方の情報を要約します。 ASRの結果は、制限された自己アテンションのみと比較して大幅に改善され、計算コストのごく一部をフルシーケンスベースの自己アテンションと比較すると、同様の結果が得られる。
  論文  参考訳（メタデータ） (2021-04-07T02:04:18Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。