論文の概要: Sequential Recommendation via Stochastic Self-Attention

• arxiv url: http://arxiv.org/abs/2201.06035v1
• Date: Sun, 16 Jan 2022 12:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 14:49:06.733999
• Title: Sequential Recommendation via Stochastic Self-Attention
• Title（参考訳）: 確率的自己注意による逐次勧告
• Authors: Ziwei Fan, Zhiwei Liu, Yu Wang, Alice Wang, Zahra Nazari, Lei Zheng, Hao Peng, Philip S. Yu
• Abstract要約: Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
• 参考スコア（独自算出の注目度）: 68.52192964559829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential recommendation models the dynamics of a user's previous behaviors in order to forecast the next item, and has drawn a lot of attention. Transformer-based approaches, which embed items as vectors and use dot-product self-attention to measure the relationship between items, demonstrate superior capabilities among existing sequential methods. However, users' real-world sequential behaviors are \textit{\textbf{uncertain}} rather than deterministic, posing a significant challenge to present techniques. We further suggest that dot-product-based approaches cannot fully capture \textit{\textbf{collaborative transitivity}}, which can be derived in item-item transitions inside sequences and is beneficial for cold start items. We further argue that BPR loss has no constraint on positive and sampled negative items, which misleads the optimization. We propose a novel \textbf{STO}chastic \textbf{S}elf-\textbf{A}ttention~(STOSA) to overcome these issues. STOSA, in particular, embeds each item as a stochastic Gaussian distribution, the covariance of which encodes the uncertainty. We devise a novel Wasserstein Self-Attention module to characterize item-item position-wise relationships in sequences, which effectively incorporates uncertainty into model training. Wasserstein attentions also enlighten the collaborative transitivity learning as it satisfies triangle inequality. Moreover, we introduce a novel regularization term to the ranking loss, which assures the dissimilarity between positive and the negative items. Extensive experiments on five real-world benchmark datasets demonstrate the superiority of the proposed model over state-of-the-art baselines, especially on cold start items. The code is available in \url{https://github.com/zfan20/STOSA}.
• Abstract（参考訳）: 逐次レコメンデーションは、次の項目を予測するために、ユーザの以前の動作のダイナミクスをモデル化し、多くの注目を集めている。 アイテムをベクトルとして埋め込んでドット積の自己アテンションを用いてアイテム間の関係を計測するトランスフォーマーベースのアプローチは、既存のシーケンシャルメソッド間に優れた機能を示す。 しかし、ユーザの実世界のシーケンシャルな振る舞いは決定論的ではなく、 \textit{\textbf{uncertain}} である。 さらに,dot-product-basedアプローチでは,シーケンス内の項目-item遷移から導出され,コールドスタート項目に有益である \textit{\textbf{collaborative transitivity}} を完全にキャプチャできないことを示唆する。 さらに,BPRの損失は正および正の負の項目に制約がなく,最適化を誤解させる。 本稿では,これらの問題を克服するために,新しい \textbf{STO}chastic \textbf{S}elf-\textbf{A}ttention~(STOSA)を提案する。 特に、ストサは各項目を確率的ガウス分布として埋め込み、その共分散は不確かさを符号化する。 我々は,不確かさをモデルトレーニングに効果的に組み込むような系列における項目-項目間関係を特徴付ける,新しいワッサースタイン自己アテンションモジュールを考案する。 ワッサースタインはまた、三角不等式を満たす共同推移性学習を啓蒙している。 さらに,正の項目と負の項目の相似性を保証し,ランキング損失に対して新たな正規化用語を導入する。 5つの実世界のベンチマークデータセットに対する大規模な実験は、提案モデルが最先端のベースライン、特にコールドスタートアイテムよりも優れていることを示す。 コードは \url{https://github.com/zfan20/stosa} で利用可能である。

関連論文リスト

• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Diffusion-based Contrastive Learning for Sequential Recommendation [6.3482831836623355]
  本稿では,CaDiRecという,文脈対応拡散に基づく逐次推薦のためのコントラスト学習を提案する。 CaDiRecは、コンテキスト対応拡散モデルを使用して、シーケンス内の所定の位置に対する代替アイテムを生成する。 フレームワーク全体をエンドツーエンドでトレーニングし、拡散モデルとレコメンデーションモデルの間でアイテムの埋め込みを共有します。
  論文  参考訳（メタデータ） (2024-05-15T14:20:37Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation [63.77513071533095]
  既存のシーケンシャルメソッドの多くは、ユーザが決定論的であると仮定する。 項目-項目遷移は、いくつかの項目において著しく変動し、ユーザの興味のランダム性を示す。 本稿では,不確実性を逐次モデルに注入する分散型トランスフォーマーシークエンシャルレコメンデーション(DT4SR)を提案する。
  論文  参考訳（メタデータ） (2021-06-11T04:35:21Z)
• Variation Control and Evaluation for Generative SlateRecommendations [22.533997063750597]
  アイテムの摂動はスレート変動を強制し,生成スレートの過剰濃度を緩和できることを示した。 また,ピボット選択フェーズを生成プロセスから分離し,モデルが生成前に摂動を適用できるようにする。
  論文  参考訳（メタデータ） (2021-02-26T05:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。