論文の概要: Enhancing CTR Prediction through Sequential Recommendation Pre-training: Introducing the SRP4CTR Framework

• arxiv url: http://arxiv.org/abs/2407.19658v1
• Date: Mon, 29 Jul 2024 02:49:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 18:49:55.398333
• Title: Enhancing CTR Prediction through Sequential Recommendation Pre-training: Introducing the SRP4CTR Framework
• Title（参考訳）: 逐次勧告事前学習によるCTR予測の強化:SRP4CTRフレームワークの導入
• Authors: Ruidong Han, Qianzhong Li, He Jiang, Rui Li, Yurou Zhao, Xiang Li, Wei Lin,
• Abstract要約: クリックスルーレート(CTR)予測のための逐次勧告事前学習フレームワーク(SRP4CTR)を提案する。 本稿では,事前学習モデルの導入が推論コストに与える影響について論じるとともに,シーケンス側情報を同時に符号化する事前学習手法を提案する。 我々は,事前学習モデルから産業用CTRモデルへの知識伝達を容易にするクエリ変換手法を開発した。
• 参考スコア（独自算出の注目度）: 13.574487867743773
• License:
• Abstract: Understanding user interests is crucial for Click-Through Rate (CTR) prediction tasks. In sequential recommendation, pre-training from user historical behaviors through self-supervised learning can better comprehend user dynamic preferences, presenting the potential for direct integration with CTR tasks. Previous methods have integrated pre-trained models into downstream tasks with the sole purpose of extracting semantic information or well-represented user features, which are then incorporated as new features. However, these approaches tend to ignore the additional inference costs to the downstream tasks, and they do not consider how to transfer the effective information from the pre-trained models for specific estimated items in CTR prediction. In this paper, we propose a Sequential Recommendation Pre-training framework for CTR prediction (SRP4CTR) to tackle the above problems. Initially, we discuss the impact of introducing pre-trained models on inference costs. Subsequently, we introduced a pre-trained method to encode sequence side information concurrently.During the fine-tuning process, we incorporate a cross-attention block to establish a bridge between estimated items and the pre-trained model at a low cost. Moreover, we develop a querying transformer technique to facilitate the knowledge transfer from the pre-trained model to industrial CTR models. Offline and online experiments show that our method outperforms previous baseline models.
• Abstract（参考訳）: CTR(Click-Through Rate)予測タスクでは,ユーザの関心事を理解することが重要である。 シーケンシャルなレコメンデーションでは、ユーザ履歴行動から自己教師付き学習による事前学習は、ユーザの動的嗜好をよりよく理解し、CTRタスクと直接統合する可能性を示す。 従来,事前学習されたモデルを下流タスクに組み込んで,意味情報や表現のよいユーザ機能だけを抽出し,それを新機能として組み込んだ。 しかし、これらの手法は、下流タスクに追加の推論コストを無視する傾向があり、CTR予測において、特定の推定項目に対する事前学習されたモデルから有効情報を伝達する方法を考慮していない。 本稿では,CTR予測のための逐次勧告事前学習フレームワーク(SRP4CTR)を提案する。 まず,事前学習モデルの導入が推論コストに与える影響について論じる。 その後, シーケンス側情報を同時に符号化する事前学習手法を導入し, 微調整の過程で, クロスアテンションブロックを組み込んで, 予測項目と事前学習モデルのブリッジを低コストで構築する。 さらに,事前学習モデルから産業用CTRモデルへの知識伝達を容易にするクエリ変換手法を開発した。 オフラインおよびオンライン実験は,本手法が従来のベースラインモデルより優れていることを示す。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Continual Learning for CTR Prediction: A Hybrid Approach [37.668467137218286]
  CTR予測のためのハイブリッドなContinual Learning FrameworkであるCOLFを提案する。 COLFはメモリベースのモジュールアーキテクチャを持ち、継続的な適応、学習、予測を行うように設計されている。 中国の大手ショッピングアプリから収集したクリックログに関する実証的評価は,既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-18T11:30:57Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。