論文の概要: UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision

• arxiv url: http://arxiv.org/abs/2202.07605v1
• Date: Mon, 14 Feb 2022 08:31:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 10:29:12.323653
• Title: UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision
• Title（参考訳）: UserBERT: セルフスーパービジョンによる長期および短期のユーザ嗜好のモデリング
• Authors: Tianyu Li, Ali Cevahir, Derek Cho, Hao Gong, DuyKhuong Nguyen, Bjorn Stenger
• Abstract要約: 本稿では,BERTモデルを電子商取引ユーザデータに拡張し,自己教師型で表現を事前学習する。 文中の単語に類似したシーケンスでユーザアクションを見ることにより、既存のBERTモデルをユーザ行動データに拡張する。 本稿では,異なる種類のユーザ行動シーケンスのトークン化,入力表現の生成,および事前学習されたモデルが自身の入力から学習できるようにするための新しいプレテキストタスクを提案する。
• 参考スコア（独自算出の注目度）: 6.8904125699168075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: E-commerce platforms generate vast amounts of customer behavior data, such as clicks and purchases, from millions of unique users every day. However, effectively using this data for behavior understanding tasks is challenging because there are usually not enough labels to learn from all users in a supervised manner. This paper extends the BERT model to e-commerce user data for pre-training representations in a self-supervised manner. By viewing user actions in sequences as analogous to words in sentences, we extend the existing BERT model to user behavior data. Further, our model adopts a unified structure to simultaneously learn from long-term and short-term user behavior, as well as user attributes. We propose methods for the tokenization of different types of user behavior sequences, the generation of input representation vectors, and a novel pretext task to enable the pre-trained model to learn from its own input, eliminating the need for labeled training data. Extensive experiments demonstrate that the learned representations result in significant improvements when transferred to three different real-world tasks, particularly compared to task-specific modeling and multi-task representation learning
• Abstract（参考訳）: Eコマースプラットフォームは、毎日何百万ものユニークなユーザーから、クリックや購入などの大量の顧客行動データを生成する。 しかし、このデータを行動理解タスクに効果的に利用することは、通常、すべてのユーザから教師付きで学習する十分なラベルが存在しないため、難しい。 本稿では,BERTモデルを電子商取引ユーザデータに拡張し,自己教師型で表現を事前学習する。 文中の単語に類似したシーケンスでユーザアクションを見ることにより、既存のBERTモデルをユーザ行動データに拡張する。 さらに,このモデルでは,ユーザ属性だけでなく,長期的および短期的ユーザの行動から同時に学習する統一構造を採用している。 本稿では,ユーザ行動系列の異なる種類のトークン化,入力表現ベクトルの生成,および事前学習されたモデルが自身の入力から学習できるようにする新しいプリテキストタスクを提案し,ラベル付きトレーニングデータの必要性をなくした。 広範囲な実験により、学習された表現が3つの現実世界のタスクに移行した場合、特にタスク特化モデリングやマルチタスク表現学習と比較して顕著な改善をもたらすことが示された。

関連論文リスト

• USE: Dynamic User Modeling with Stateful Sequence Models [26.74966828348815]
  User Stateful Embedding (USE)は、徹底的な再処理を必要とせずに、ユーザ埋め込みを生成する。 我々は,次世代の予測の限界を超越するために,将来のW行動予測という新たな訓練目標を導入する。 静的(固定されたユーザ行動シーケンス)および動的(定期的に更新されたユーザ行動シーケンス)設定の両方で、Snapchatユーザーの行動ログを使用して、8つの下流タスクで実験を行う。
  論文  参考訳（メタデータ） (2024-03-20T07:05:19Z)
• PUNR: Pre-training with User Behavior Modeling for News Recommendation [26.349183393252115]
  ニュースレコメンデーションは、ユーザーの行動に基づいてクリック行動を予測することを目的としている。 ユーザの表現を効果的にモデル化する方法が、望ましいニュースを推奨する鍵である。 本研究では,ユーザ行動マスキングとユーザ行動生成という2つのタスクを備えた教師なし事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T08:03:52Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• Learning Large-scale Universal User Representation with Sparse Mixture of Experts [1.2722697496405464]
  複数のタスクから高品質なユーザ表現を得るための汎用フレームワーク SUPERMOE を提案する。 具体的には、ユーザ動作シーケンスをMoE変換器で符号化することで、モデル容量を数十億のパラメータに増やすことができる。 複数のタスクにまたがる学習においてシーソー現象に対処するために,タスクインジケータを用いた新たな損失関数を設計する。
  論文  参考訳（メタデータ） (2022-07-11T06:19:03Z)
• Multi-Behavior Sequential Recommendation with Temporal Graph Transformer [66.10169268762014]
  マルチビヘイビア・インタラクティブなパターンを意識した動的ユーザ・イテム関係学習に取り組む。 本稿では,動的短期および長期のユーザ・イテム対話パターンを共同でキャプチャする,TGT(Temporal Graph Transformer)レコメンデーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T15:42:54Z)
• PinnerFormer: Sequence Modeling for User Representation at Pinterest [60.335384724891746]
  我々は、ユーザの将来的なエンゲージメントを予測するためにトレーニングされたユーザ表現であるPinnerFormerを紹介する。 従来のアプローチとは異なり、新しい密集した全アクション損失を通じて、モデリングをバッチインフラストラクチャに適応させます。 その結果,1日に1回発生するバッチユーザ埋め込みと,ユーザがアクションを行うたびに発生するリアルタイムユーザ埋め込みとの間には,大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2022-05-09T18:26:51Z)
• Incremental user embedding modeling for personalized text classification [12.381095398791352]
  個々のユーザプロファイルとインタラクション履歴は、現実世界のアプリケーションでカスタマイズされたエクスペリエンスを提供する上で重要な役割を果たす。 本稿では,ユーザの最近のインタラクション履歴を動的に統合したインクリメンタルなユーザ埋め込みモデリング手法を提案する。 Redditデータセットに基づくパーソナライズされた多クラス分類タスクに適用することで,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-13T17:33:35Z)
• Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation [56.12499090935242]
  本研究では,ユーザとレコメンデータシステムにおける項目間の多種類の対話パターンを探索する知識強化階層型グラフトランスフォーマネットワーク(KHGT)を提案する。 KHGTはグラフ構造化ニューラルネットワーク上に構築され、タイプ固有の振る舞い特性をキャプチャする。 KHGTは、様々な評価設定において、最先端のレコメンデーション手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-08T09:44:00Z)
• Multi-Task Self-Training for Learning General Representations [97.01728635294879]
  マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2021-08-25T17:20:50Z)
• Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction [48.267995749975476]
  クリックスルー率(ctr)予測シナリオでは、ユーザのシーケンシャルな動作を利用してユーザの関心を捉える。 既存の手法は主にユーザの行動に注意を払っているが、CTR予測には必ずしも適していない。 マルチインタラクティブ・アテンション・ネットワーク (MIAN) を提案し, 各種微細な特徴間の潜在関係を総合的に抽出する。
  論文  参考訳（メタデータ） (2020-12-13T05:46:19Z)
• Exploiting Behavioral Consistence for Universal User Representation [11.290137806288191]
  我々は普遍的ユーザ表現モデルの開発に注力する。 得られた普遍表現には豊富な情報が含まれることが予想される。 行動データを普遍表現にエンコードする自己監視型ユーザモデリングネットワーク(SUMN)を提案する。
  論文  参考訳（メタデータ） (2020-12-11T06:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。