論文の概要: MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2008.08273v2
• Date: Fri, 21 Aug 2020 07:18:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 09:09:47.394475
• Title: MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
• Title（参考訳）: MEANTIME:シークエンシャルレコメンデーションのための多時間埋め込みと注意機構の混合
• Authors: Sung Min Cho, Eunhyeok Park, Sungjoo Yoo
• Abstract要約: 自己注意に基づくモデルは、シーケンシャルなレコメンデーションタスクで最先端のパフォーマンスを達成した。 これらのモデルは、ユーザの履歴のシーケンシャルな性質を活用するために、単純な位置埋め込みに依存している。 本稿では,ユーザの行動系列から様々なパターンを捉えるために,複数の時間的埋め込みを用いたMEANTIMEを提案する。
• 参考スコア（独自算出の注目度）: 12.386304516106854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, self-attention based models have achieved state-of-the-art performance in sequential recommendation task. Following the custom from language processing, most of these models rely on a simple positional embedding to exploit the sequential nature of the user's history. However, there are some limitations regarding the current approaches. First, sequential recommendation is different from language processing in that timestamp information is available. Previous models have not made good use of it to extract additional contextual information. Second, using a simple embedding scheme can lead to information bottleneck since the same embedding has to represent all possible contextual biases. Third, since previous models use the same positional embedding in each attention head, they can wastefully learn overlapping patterns. To address these limitations, we propose MEANTIME (MixturE of AtteNTIon mechanisms with Multi-temporal Embeddings) which employs multiple types of temporal embeddings designed to capture various patterns from the user's behavior sequence, and an attention structure that fully leverages such diversity. Experiments on real-world data show that our proposed method outperforms current state-of-the-art sequential recommendation methods, and we provide an extensive ablation study to analyze how the model gains from the diverse positional information.
• Abstract（参考訳）: 近年,自己着脱型モデルが逐次レコメンデーションタスクにおいて最先端のパフォーマンスを達成している。 言語処理からのカスタムに従って、これらのモデルのほとんどは、ユーザの履歴のシーケンシャルな性質を利用するために、単純な位置埋め込みに依存している。 しかし、現在のアプローチにはいくつかの制限がある。 まず、シーケンシャルなレコメンデーションは、タイムスタンプ情報が利用できる言語処理とは異なる。 以前のモデルでは、追加の文脈情報を抽出するのに十分な利用がなかった。 第2に、単純な埋め込み方式を使用することで、同じ埋め込みがすべての可能なコンテキストバイアスを表す必要があるため、情報のボトルネックにつながる可能性がある。 第三に、従来のモデルはそれぞれの注意ヘッドに同じ位置埋め込みを使っているため、重複するパターンを無駄に学習することができる。 このような制約に対処するために,ユーザの行動シーケンスから様々なパターンをキャプチャする多種類の時間的埋め込みと,その多様性を完全に活用した注意構造を用いたMEANTIME(MixturE of AtteNTIon Mechanism with Multi-temporal Embeddings)を提案する。 実世界データを用いた実験により,提案手法が最先端の逐次レコメンデーション手法に勝ることを示し,多種多様な位置情報からモデルがどのように得られるかを分析するための広範なアブレーション研究を行った。

関連論文リスト

• On the Regularization of Learnable Embeddings for Time Series Processing [18.069747511100132]
  時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。 この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:30:20Z)
• Sequential Recommendation on Temporal Proximities with Contrastive Learning and Self-Attention [3.7182810519704095]
  逐次リコメンデータシステムは、過去のインタラクションからユーザの好みを識別し、後続の項目を最適に予測する。 最近のモデルでは、類似の時間枠中に暗黙的に発生するユーザの行動の類似性を無視することが多い。 本稿では,時間的近接性を考慮したコントラスト学習と自己認識手法を含む,TemProxRecという逐次レコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-15T08:33:16Z)
• Forecasting large collections of time series: feature-based methods [7.353918137830393]
  時系列の膨大なコレクションを予測する場合,時系列特徴量を用いて2行のアプローチが開発されている。 この章では、オープンソースのソフトウェア実装を参照しながら、最先端の機能ベースのメソッドについて論じます。
  論文  参考訳（メタデータ） (2023-09-25T01:23:02Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Self-Attention Neural Bag-of-Features [103.70855797025689]
  我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。 本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-01-26T17:54:14Z)
• Learning Dual Dynamic Representations on Time-Sliced User-Item Interaction Graphs for Sequential Recommendation [62.30552176649873]
  シーケンシャルレコメンデーションのための動的表現学習モデル(DRL-SRe)を考案する。 両面から動的に特徴付けるためのユーザ・イテム相互作用をモデル化するため,提案モデルでは,時間スライス毎にグローバルなユーザ・イテム相互作用グラフを構築した。 モデルが微粒な時間情報を捕捉することを可能にするため,連続時間スライス上での補助的時間予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:44:27Z)
• From Static to Dynamic Node Embeddings [61.58641072424504]
  本稿では,時間的予測に基づくアプリケーションにグラフストリームデータを活用するための汎用フレームワークを提案する。 提案フレームワークは,適切なグラフ時系列表現を学習するための新しい手法を含む。 トップ3の時間モデルは常に新しい$epsilon$-graphの時系列表現を利用するモデルであることが分かりました。
  論文  参考訳（メタデータ） (2020-09-21T16:48:29Z)
• Time-based Sequence Model for Personalization and Recommendation Systems [6.484371238475296]
  我々は時間情報を明確に組み込んだ新しい推薦モデルを開発した。 このモデルは、異なるベクトル空間の内部積を持つ埋め込み層とTSLアテンションのようなメカニズムに依存している。 Taobao User Behavior データセットでは,シーケンス長が長い複雑なモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-27T05:46:47Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)
• D\'ej\`a vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation [34.505472771669744]
  我々は、過去の出来事がユーザの現在の行動に与える影響は、時間や状況によって異なるべきであると論じる。 本研究では、歴史的行動がどのような行動であるだけでなく、その行動がいつ、どのように行われたかにも影響を及ぼすことを学習する文脈化された時間的注意機構を提案する。
  論文  参考訳（メタデータ） (2020-01-29T20:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。