論文の概要: Improving conversion rate prediction via self-supervised pre-training in online advertising

• arxiv url: http://arxiv.org/abs/2401.16432v1
• Date: Thu, 25 Jan 2024 08:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-04 05:36:59.659288
• Title: Improving conversion rate prediction via self-supervised pre-training in online advertising
• Title（参考訳）: オンライン広告における自己指導型事前学習による変換率予測の改善
• Authors: Alex Shtoff, Yohay Kaplan, Ariel Raviv
• Abstract要約: 変換-ギブン-クリックを予測するモデルのトレーニングにおける重要な課題は、データの疎性にある。 我々は、自己教師付き事前学習というよく知られたアイデアを使用し、すべての変換イベントに基づいて訓練された補助的オートエンコーダモデルを使用する。 オフラインでも、トレーニング中でも、オンラインA/Bテストでも改善が見られます。
• 参考スコア（独自算出の注目度）: 2.447795279790662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of predicting conversion rates (CVR) lies at the heart of online advertising systems aiming to optimize bids to meet advertiser performance requirements. Even with the recent rise of deep neural networks, these predictions are often made by factorization machines (FM), especially in commercial settings where inference latency is key. These models are trained using the logistic regression framework on labeled tabular data formed from past user activity that is relevant to the task at hand. Many advertisers only care about click-attributed conversions. A major challenge in training models that predict conversions-given-clicks comes from data sparsity - clicks are rare, conversions attributed to clicks are even rarer. However, mitigating sparsity by adding conversions that are not click-attributed to the training set impairs model calibration. Since calibration is critical to achieving advertiser goals, this is infeasible. In this work we use the well-known idea of self-supervised pre-training, and use an auxiliary auto-encoder model trained on all conversion events, both click-attributed and not, as a feature extractor to enrich the main CVR prediction model. Since the main model does not train on non click-attributed conversions, this does not impair calibration. We adapt the basic self-supervised pre-training idea to our online advertising setup by using a loss function designed for tabular data, facilitating continual learning by ensuring auto-encoder stability, and incorporating a neural network into a large-scale real-time ad auction that ranks tens of thousands of ads, under strict latency constraints, and without incurring a major engineering cost. We show improvements both offline, during training, and in an online A/B test. Following its success in A/B tests, our solution is now fully deployed to the Yahoo native advertising system.
• Abstract（参考訳）: コンバージョンレート(CVR)を予測するタスクは、広告主のパフォーマンス要求を満たすために入札を最適化することを目的としたオンライン広告システムの中心にある。 近年のディープニューラルネットワークの台頭にもかかわらず、これらの予測は、特に推論レイテンシが鍵となる商用環境では、ファクタライズマシン(FM)によって行われることが多い。 これらのモデルは、目の前のタスクに関連する過去のユーザアクティビティから形成されたラベル付き表データ上のロジスティック回帰フレームワークを使用してトレーニングされる。 多くの広告主はクリックアトリビュート変換だけを気にしている。 変換-given-clickを予測するトレーニングモデルにおける大きな課題は、データのスペーサ性にある - クリックは稀であり、クリックに起因する変換はさらに稀である。 しかし、トレーニングセットのキャリブレーションにクリック貢献しない変換を追加することで、スパーシリティを緩和する。 キャリブレーションは広告主の目標達成に不可欠であるため、実現不可能である。 本研究では,自己教師付き事前学習というよく知られたアイデアを用いて,CVR予測モデルを充実させる機能抽出器として,クリックアコメンテーションと非コンバージョンイベントの双方で訓練された補助オートエンコーダモデルを用いる。 主モデルは非クリック帰属変換を訓練しないため、校正が損なわれることはない。 グラフデータ用に設計された損失関数を使用し、オートエンコーダの安定性を確保して継続学習を容易にし、ニューラルネットワークを数千の広告をランク付けし、厳格なレイテンシ制約の下で、大きなエンジニアリングコストを伴わずに、大規模なリアルタイム広告オークションに組み込むことにより、基本的な自己指導型事前学習のアイデアをオンライン広告設定に適用する。 オフライン、トレーニング中、オンラインA/Bテストで改善を示す。 a/bテストの成功により、われわれのソリューションはyahooネイティブ広告システムに完全にデプロイされた。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• QCore: Data-Efficient, On-Device Continual Calibration for Quantized Models -- Extended Version [34.280197473547226]
  機械学習モデルは、ストレージと計算能力に制限のあるエッジデバイスにデプロイすることができる。 エッジ上で連続的なキャリブレーションを可能にするためのQCoreを提案する。
  論文  参考訳（メタデータ） (2024-04-22T08:57:46Z)
• Unbiased Filtering Of Accidental Clicks in Verizon Media Native Advertising [1.6717433307723157]
  我々は、クリックのいくつかが短寿命であることに気付いた場合、クリックスルー率(CTR)を予測することの課題に焦点を当てる。 偶然クリックすると、ユーザーと広告の間に親和性はほとんどなく、類似ユーザーが広告をクリックすると予測するのは不正確だ。 本稿では,偶発クリックの発生確率に基づいて,偶発クリックの正の重みを全ての負の事象(スキップ)に分配する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T12:54:30Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)
• On the Factory Floor: ML Engineering for Industrial-Scale Ads Recommendation Models [9.102290972714652]
  産業規模の広告システムでは、広告クリックスルー率(CTR)の予測が中心的な問題である。 本稿では,Googleの検索広告CTRモデルに実装された実用技術について事例研究を行う。
  論文  参考訳（メタデータ） (2022-09-12T15:15:23Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• Churn prediction in online gambling [4.523089386111081]
  この研究は、オンラインギャンブルの文脈におけるチャーン予測の問題を形式化し、ドメインに寄与する。 本稿では,繰り返しニューラルネットワークに基づくアルゴリズムによる解法を提案する。 このアルゴリズムは、時系列形式のオンラインギャンブルデータを用いてテストされる。
  論文  参考訳（メタデータ） (2022-01-07T14:20:25Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。