論文の概要: Always Strengthen Your Strengths: A Drift-Aware Incremental Learning
Framework for CTR Prediction
- arxiv url: http://arxiv.org/abs/2304.09062v1
- Date: Mon, 17 Apr 2023 05:45:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 14:13:30.007367
- Title: Always Strengthen Your Strengths: A Drift-Aware Incremental Learning
Framework for CTR Prediction
- Title（参考訳）: 常に強化する: CTR予測のためのドリフト対応インクリメンタルラーニングフレームワーク
- Authors: Congcong Liu, Fei Teng, Xiwei Zhao, Zhangang Lin, Jinghe Hu, Jingping
Shao
- Abstract要約: クリックスルー率(CTR)予測はレコメンデーションシステムやオンライン広告プラットフォームにおいて非常に重要である。
ストリーミングデータには、基礎となる分布が時間とともにドリフトし、再帰する可能性があるという特徴がある。
我々は、CTR予測における破滅的な忘れに対処するために、アンサンブル学習に基づく新しいドリフト対応インクリメンタルラーニングフレームワークを設計する。
- 参考スコア（独自算出の注目度）: 4.909628097144909
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Click-through rate (CTR) prediction is of great importance in recommendation
systems and online advertising platforms. When served in industrial scenarios,
the user-generated data observed by the CTR model typically arrives as a
stream. Streaming data has the characteristic that the underlying distribution
drifts over time and may recur. This can lead to catastrophic forgetting if the
model simply adapts to new data distribution all the time. Also, it's
inefficient to relearn distribution that has been occurred. Due to memory
constraints and diversity of data distributions in large-scale industrial
applications, conventional strategies for catastrophic forgetting such as
replay, parameter isolation, and knowledge distillation are difficult to be
deployed. In this work, we design a novel drift-aware incremental learning
framework based on ensemble learning to address catastrophic forgetting in CTR
prediction. With explicit error-based drift detection on streaming data, the
framework further strengthens well-adapted ensembles and freezes ensembles that
do not match the input distribution avoiding catastrophic interference. Both
evaluations on offline experiments and A/B test shows that our method
outperforms all baselines considered.
- Abstract（参考訳）: クリックスルー率(CTR)予測はレコメンデーションシステムやオンライン広告プラットフォームにおいて非常に重要である。
産業シナリオで提供される場合、CTRモデルで観測されたユーザ生成データは通常、ストリームとして到着する。
ストリーミングデータには、基礎となる分布が時間とともにドリフトし、再帰する可能性があるという特徴がある。
これにより、モデルが単に新しいデータ分散に常に適応すれば、破滅的な忘れることになる。
また、発生した分布を再学習するのは非効率である。
大規模産業アプリケーションにおけるメモリ制約やデータ分布の多様性から,リプレイやパラメータ分離,知識蒸留といった破滅的な忘れ方策の展開は困難である。
本研究では,CTR予測における破滅的な忘れに対処するために,アンサンブル学習に基づく新たなドリフト対応インクリメンタルラーニングフレームワークを設計する。
ストリーミングデータ上の明示的なエラーベースのドリフト検出により、フレームワークはさらに適合度の高いアンサンブルを強化し、壊滅的な干渉を避ける入力分布にマッチしないアンサンブルを凍結する。
オフライン実験における評価とa/bテストはいずれも,本手法が考慮したすべてのベースラインを上回っていることを示している。
関連論文リスト
- Towards Continually Learning Application Performance Models [1.2278517240988065]
機械学習ベースのパフォーマンスモデルは、重要なジョブスケジューリングとアプリケーションの最適化決定を構築するために、ますます使われています。
伝統的に、これらのモデルは、より多くのサンプルが時間とともに収集されるため、データ分布が変化しないと仮定する。
本研究では,分布のドリフトを考慮した継続的な学習性能モデルを構築し,破滅的な忘れを軽減し,一般化性を向上させる。
論文 参考訳（メタデータ） (2023-10-25T20:48:46Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - On-Device Model Fine-Tuning with Label Correction in Recommender Systems [43.41875046295657]
本研究は、推薦システムにおける基本的なクリックスルー率(CTR)予測タスクに焦点を当てる。
デバイス上での微調整に先立って,各ユーザがローカルサンプルのラベルを変更するだけでよい新しいラベル補正手法を提案する。
論文 参考訳（メタデータ） (2022-10-21T14:40:18Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Concept Drift Adaptation for CTR Prediction in Online Advertising
Systems [6.900209851954917]
クリックスルー率(CTR)予測は、ウェブ検索、レコメンダシステム、オンライン広告表示において重要な課題である。
本稿では,CTR予測データストリームにおける適応フィルタリングによるコンセプトドリフト問題を軽減するために,専門家の適応混合(AdaMoE)を提案する。
論文 参考訳（メタデータ） (2022-04-01T07:43:43Z) - Continual Learning for CTR Prediction: A Hybrid Approach [37.668467137218286]
CTR予測のためのハイブリッドなContinual Learning FrameworkであるCOLFを提案する。
COLFはメモリベースのモジュールアーキテクチャを持ち、継続的な適応、学習、予測を行うように設計されている。
中国の大手ショッピングアプリから収集したクリックログに関する実証的評価は,既存の方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-18T11:30:57Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Employing chunk size adaptation to overcome concept drift [2.277447144331876]
ブロックベースのデータストリーム分類アルゴリズムに適応可能な新しいチャンク適応復元フレームワークを提案する。
提案アルゴリズムは,概念ドリフト検出時のデータチャンクサイズを調整し,その変更が使用済みモデルの予測性能に与える影響を最小限に抑える。
論文 参考訳（メタデータ） (2021-10-25T12:36:22Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-04T18:03:31Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。