論文の概要: Feature Staleness Aware Incremental Learning for CTR Prediction

• arxiv url: http://arxiv.org/abs/2505.02844v1
• Date: Tue, 29 Apr 2025 09:05:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.023756
• Title: Feature Staleness Aware Incremental Learning for CTR Prediction
• Title（参考訳）: CTR予測のためのインクリメンタルラーニングを考慮した特徴安定度
• Authors: Zhikai Wang, Yanyan Shen, Zibin Zhang, Kangyi Lin,
• Abstract要約: CTR予測モデルの特徴埋め込みは、現在のインクリメンタルデータに対応する機能が現れない場合、しばしば停滞する。 静的な特徴を含むサンプルを適応的に再生するCTR予測(FeSAIL)のための特徴安定度認識インクリメンタルラーニング手法を提案する。 FeSAILは4つのベンチマークデータセットで様々な最先端のメソッドより優れている。
• 参考スコア（独自算出の注目度）: 18.810404607032297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-through Rate (CTR) prediction in real-world recommender systems often deals with billions of user interactions every day. To improve the training efficiency, it is common to update the CTR prediction model incrementally using the new incremental data and a subset of historical data. However, the feature embeddings of a CTR prediction model often get stale when the corresponding features do not appear in current incremental data. In the next period, the model would have a performance degradation on samples containing stale features, which we call the feature staleness problem. To mitigate this problem, we propose a Feature Staleness Aware Incremental Learning method for CTR prediction (FeSAIL) which adaptively replays samples containing stale features. We first introduce a staleness aware sampling algorithm (SAS) to sample a fixed number of stale samples with high sampling efficiency. We then introduce a staleness aware regularization mechanism (SAR) for a fine-grained control of the feature embedding updating. We instantiate FeSAIL with a general deep learning-based CTR prediction model and the experimental results demonstrate FeSAIL outperforms various state-of-the-art methods on four benchmark datasets.
• Abstract（参考訳）: 現実世界のレコメンデーションシステムにおけるクリックスルーレート(CTR)予測は、毎日何十億ものユーザーインタラクションを扱うことが多い。 トレーニング効率を向上させるために、新しいインクリメンタルデータと履歴データのサブセットを使用して、CTR予測モデルを漸進的に更新することが一般的である。 しかし、CTR予測モデルの特徴埋め込みは、現在のインクリメンタルデータに対応する特徴が現れない場合、しばしば停滞する。 次段階では,本モデルでは,特徴量を含むサンプルの性能劣化を防止し,特徴量安定化問題(Feature Staleness problem)と呼ぶ。 この問題を軽減するために,古い特徴を含むサンプルを適応的に再生するCTR予測(FeSAIL)のための特徴安定度認識インクリメンタルラーニング手法を提案する。 まず, 高サンプリング効率の安定度サンプリングアルゴリズム(SAS)を導入し, 一定数のサンプルをサンプリングする。 次に、機能埋め込み更新のきめ細かい制御のために、安定化対応正規化機構(SAR)を導入する。 一般的な深層学習に基づくCTR予測モデルを用いてFeSAILをインスタンス化し、実験結果により、FeSAILは4つのベンチマークデータセット上で様々な最先端手法より優れていることを示す。

関連論文リスト

• RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction [68.34355552090103]
  本稿では, 試料内および試料間における微細な特徴相互作用の獲得を目的とした検索-拡張変換器(RAT)を開発した。 次に、トランスフォーマー層をカスケードされた注意で構築し、イントラサンプルとクロスサンプルの両方の機能インタラクションをキャプチャします。 実世界のデータセットの実験は、RATの有効性を裏付け、ロングテールシナリオにおいてその利点を示唆している。
  論文  参考訳（メタデータ） (2024-04-02T19:14:23Z)
• Helen: Optimizing CTR Prediction Models with Frequency-wise Hessian Eigenvalue Regularization [22.964109377128523]
  CTR(Click-Through Rate)予測は、オンライン広告とレコメンデーションシナリオにおいて最も重要である。 近年のCTR予測モデルの普及にもかかわらず、性能の改善は限られている。
  論文  参考訳（メタデータ） (2024-02-23T15:00:46Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
  本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-08-03T12:55:55Z)
• Revisiting DETR Pre-training for Object Detection [24.372444866927538]
  完全データ条件下での堅牢なDETRモデルの性能向上におけるDETRegの欠点について検討する。 我々は、改良されたボックス予測器とObjects$365$ベンチマークを組み合わせることで、目立った拡張をもたらす、Simple Self-trainingという最適化されたアプローチを採用しています。 これらの努力の結果、COCO valセットのAPスコアは59.3%で、事前トレーニングなしで$mathcalH$-Deformable-DETR + Swin-Lを1.4%で上回った。
  論文  参考訳（メタデータ） (2023-08-02T17:39:30Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Always Strengthen Your Strengths: A Drift-Aware Incremental Learning Framework for CTR Prediction [4.909628097144909]
  クリックスルー率(CTR)予測はレコメンデーションシステムやオンライン広告プラットフォームにおいて非常に重要である。 ストリーミングデータには、基礎となる分布が時間とともにドリフトし、再帰する可能性があるという特徴がある。 我々は、CTR予測における破滅的な忘れに対処するために、アンサンブル学習に基づく新しいドリフト対応インクリメンタルラーニングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-04-17T05:45:18Z)
• Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate [15.90144113403866]
  クリックスルーレート(CTR)は、特定の項目のクリックの比率を、そのビューの総数に反映する。 XdBoostは、従来の機械学習の強化メカニズムの影響を受け、反復的な3段階ニューラルネットワークモデルである。
  論文  参考訳（メタデータ） (2020-07-26T09:41:16Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。