論文の概要: Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer

• arxiv url: http://arxiv.org/abs/2105.00522v1
• Date: Sun, 2 May 2021 18:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 01:05:18.141448
• Title: Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer
• Title（参考訳）: 逆プリトレーニングトランスによる擬似優先項目による逐次推薦の強化
• Authors: Zhiwei Liu, Ziwei Fan, Yu Wang, Philip S. Yu
• Abstract要約: 逐次レコメンデーションはアイテムシーケンスを時系列的にモデル化することで進化するパターンを特徴付ける。 最近のトランスフォーマの開発はコミュニティに効果的なシーケンスエンコーダの設計を促している。 textbfseudo-prior items(asrep)を用いたtextbfsequential textbfrecommendationのためのtextbfaugmentingの新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 61.818320703583126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential Recommendation characterizes the evolving patterns by modeling item sequences chronologically. The essential target of it is to capture the item transition correlations. The recent developments of transformer inspire the community to design effective sequence encoders, \textit{e.g.,} SASRec and BERT4Rec. However, we observe that these transformer-based models suffer from the cold-start issue, \textit{i.e.,} performing poorly for short sequences. Therefore, we propose to augment short sequences while still preserving original sequential correlations. We introduce a new framework for \textbf{A}ugmenting \textbf{S}equential \textbf{Re}commendation with \textbf{P}seudo-prior items~(ASReP). We firstly pre-train a transformer with sequences in a reverse direction to predict prior items. Then, we use this transformer to generate fabricated historical items at the beginning of short sequences. Finally, we fine-tune the transformer using these augmented sequences from the time order to predict the next item. Experiments on two real-world datasets verify the effectiveness of ASReP. The code is available on \url{https://github.com/DyGRec/ASReP}.
• Abstract（参考訳）: 逐次レコメンデーションはアイテムシーケンスを時系列的にモデル化することで進化するパターンを特徴付ける。 重要なターゲットはアイテム遷移の相関を捉えることである。 トランスフォーマーの最近の発展は、コミュニティに効果的なシーケンスエンコーダである \textit{e.g.} SASRec と BERT4Rec を設計させるきっかけとなった。 しかし、これらのトランスフォーマーベースのモデルは、短いシーケンスでは性能の悪い \textit{i,e} というコールドスタート問題に苦しむことを観察する。 そこで本論文では,元の逐次相関を保ちつつ,短い系列を補うことを提案する。 本稿では,textbf{A}ugmenting \textbf{S}equential \textbf{Re}commendation with \textbf{P}seudo-prior items~(ASReP)を紹介する。 まず、逆方向のシーケンスを持つ変圧器を事前訓練し、先行項目を予測する。 そして、この変換器を用いて、短いシーケンスの開始時に製造された歴史的アイテムを生成する。 最後に、次の項目を予測するために、これらの拡張シーケンスを使用して変換器を微調整する。 実世界の2つのデータセットの実験は、ASRePの有効性を検証する。 コードは \url{https://github.com/dygrec/asrep} で入手できる。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• An Attentive Inductive Bias for Sequential Recommendation beyond the Self-Attention [23.610204672115195]
  本稿では、Sequential Recommation(SR)モデルにおける自己注意の低パスフィルタ特性を明らかにする先駆的な研究について述べる。 本稿では,細粒度連続パターンを考慮し,誘導バイアスを注入するBSARecという新しい手法を提案する。 我々の発見は、SRドメインの大幅な進歩を示し、既存のTransformerベースのSRモデルのギャップを埋めることが期待されている。
  論文  参考訳（メタデータ） (2023-12-16T05:23:08Z)
• GBT: Two-stage transformer framework for non-stationary time series forecasting [3.830797055092574]
  GBTは、Good Startを備えた新しい2段階トランスフォーマーフレームワークである。 TSFTの予測プロセスを、Auto-RegressionステージとSelf-Regressionステージという2つのステージに分割する。 7つのベンチマークデータセットの実験では、GBTは標準的注意と畳み込みのみでSOTA TSFTよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-17T07:55:21Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Pose Transformers (POTR): Human Motion Prediction with Non-Autoregressive Transformers [24.36592204215444]
  本研究では,トランスフォーマーアーキテクチャを非自己回帰型人間の動作予測に活用することを提案する。 我々のアプローチは、以前の予測を条件にするのではなく、クエリシーケンスから並列に要素をデコードする。 その単純さにもかかわらず、我々のアプローチは2つの公開データセットで競合する結果を達成している。
  論文  参考訳（メタデータ） (2021-09-15T18:55:15Z)
• Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer [69.0621959845251]
  本稿では,定義した連続時間二部グラフ上での時間グラフシーケンスレコメンダ(TGSRec)を提案する。 TCTレイヤは、ユーザとアイテムの両方からの協調的な信号を同時にキャプチャすると同時に、シーケンシャルパターン内の時間的ダイナミクスも考慮する。 5つのデータセットの実証結果は、TGSRecが他のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-14T22:50:53Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。