論文の概要: PUNR: Pre-training with User Behavior Modeling for News Recommendation

• arxiv url: http://arxiv.org/abs/2304.12633v2
• Date: Mon, 30 Oct 2023 08:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 02:51:48.311649
• Title: PUNR: Pre-training with User Behavior Modeling for News Recommendation
• Title（参考訳）: PUNR:ニュースレコメンデーションのためのユーザ行動モデリングによる事前学習
• Authors: Guangyuan Ma, Hongtao Liu, Xing Wu, Wanhui Qian, Zhepeng Lv, Qing Yang, Songlin Hu
• Abstract要約: ニュースレコメンデーションは、ユーザーの行動に基づいてクリック行動を予測することを目的としている。 ユーザの表現を効果的にモデル化する方法が、望ましいニュースを推奨する鍵である。 本研究では,ユーザ行動マスキングとユーザ行動生成という2つのタスクを備えた教師なし事前学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 26.349183393252115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: News recommendation aims to predict click behaviors based on user behaviors. How to effectively model the user representations is the key to recommending preferred news. Existing works are mostly focused on improvements in the supervised fine-tuning stage. However, there is still a lack of PLM-based unsupervised pre-training methods optimized for user representations. In this work, we propose an unsupervised pre-training paradigm with two tasks, i.e. user behavior masking and user behavior generation, both towards effective user behavior modeling. Firstly, we introduce the user behavior masking pre-training task to recover the masked user behaviors based on their contextual behaviors. In this way, the model could capture a much stronger and more comprehensive user news reading pattern. Besides, we incorporate a novel auxiliary user behavior generation pre-training task to enhance the user representation vector derived from the user encoder. We use the above pre-trained user modeling encoder to obtain news and user representations in downstream fine-tuning. Evaluations on the real-world news benchmark show significant performance improvements over existing baselines.
• Abstract（参考訳）: ニュースレコメンデーションは、ユーザーの行動に基づいてクリック行動を予測することを目的としている。 ユーザの表現を効果的にモデル化する方法は、望ましいニュースを推奨するキーとなる。 既存の作品は、主に監督された微調整段階の改善に焦点を当てている。 しかし、ユーザ表現に最適化された PLM ベースの教師なし事前学習手法がまだ存在しない。 本研究では,ユーザ行動マスキングとユーザ行動生成という2つのタスクを備えた教師なし事前学習パラダイムを提案する。 まず,ユーザ行動マスキング事前学習タスクを導入し,その状況行動に基づいてマスキングユーザ行動の復元を行う。 このようにして、このモデルはより強く、より包括的なユーザーニュースリーディングパターンを捉えることができる。 さらに,ユーザエンコーダから派生したユーザ表現ベクトルを強化するために,新しいユーザ行動生成事前学習タスクを導入する。 上記の事前学習したユーザモデリングエンコーダを用いて、下流の微調整でニュースやユーザ表現を得る。 実世界のニュースベンチマークの評価では、既存のベースラインよりも大幅にパフォーマンスが向上している。

関連論文リスト

• USE: Dynamic User Modeling with Stateful Sequence Models [26.74966828348815]
  User Stateful Embedding (USE)は、徹底的な再処理を必要とせずに、ユーザ埋め込みを生成する。 我々は,次世代の予測の限界を超越するために,将来のW行動予測という新たな訓練目標を導入する。 静的(固定されたユーザ行動シーケンス)および動的(定期的に更新されたユーザ行動シーケンス)設定の両方で、Snapchatユーザーの行動ログを使用して、8つの下流タスクで実験を行う。
  論文  参考訳（メタデータ） (2024-03-20T07:05:19Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Recommender Transformers with Behavior Pathways [50.842316273120744]
  Recommender Transformer (RETR) を新しいパスウェイアテンション機構で構築する。 実世界の7つのデータセットにおけるRETRの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-06-13T08:58:37Z)
• PinnerFormer: Sequence Modeling for User Representation at Pinterest [60.335384724891746]
  我々は、ユーザの将来的なエンゲージメントを予測するためにトレーニングされたユーザ表現であるPinnerFormerを紹介する。 従来のアプローチとは異なり、新しい密集した全アクション損失を通じて、モデリングをバッチインフラストラクチャに適応させます。 その結果,1日に1回発生するバッチユーザ埋め込みと,ユーザがアクションを行うたびに発生するリアルタイムユーザ埋め込みとの間には,大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2022-05-09T18:26:51Z)
• Modeling Dynamic User Preference via Dictionary Learning for Sequential Recommendation [133.8758914874593]
  ユーザの好みのダイナミックさを捉えることは、ユーザの将来の行動を予測する上で非常に重要です。 浅いものも深いものも含む、既存のレコメンデーションアルゴリズムの多くは、このようなダイナミクスを独立してモデル化することが多い。 本稿では、ユーザのシーケンシャルな振る舞いを、ユーザ好みの潜伏した空間に埋め込むことの問題について考察する。
  論文  参考訳（メタデータ） (2022-04-02T03:23:46Z)
• Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference [71.11416263370823]
  ユーザの行動嗜好モデルのための生成的逆強化学習を提案する。 我々のモデルは,差別的アクター批判ネットワークとWasserstein GANに基づいて,ユーザの行動から報酬を自動的に学習することができる。
  論文  参考訳（メタデータ） (2021-05-03T13:14:25Z)
• Reinforced Imitative Graph Representation Learning for Mobile User Profiling: An Adversarial Training Perspective [21.829562421373712]
  ヒトモビリティモデリングパイプラインにおけるユーザの特性を定量化するための重要なコンポーネントであるモバイルユーザプロファイリングの問題について検討する。 強化学習を活用した模倣型モバイルユーザプロファイリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-07T17:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。