論文の概要: CADET: Context-Conditioned Ads CTR Prediction With a Decoder-Only Transformer

• arxiv url: http://arxiv.org/abs/2602.11410v1
• Date: Wed, 11 Feb 2026 22:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.561319
• Title: CADET: Context-Conditioned Ads CTR Prediction With a Decoder-Only Transformer
• Title（参考訳）: CADET:デコーダオンリーの変換器でCTR予測を行うコンテキストコンディション広告
• Authors: David Pardoe, Neil Daftary, Miro Furtado, Aditya Aiyer, Yu Wang, Liuqing Li, Tao Song, Lars Hertel, Young Jin Yun, Senthil Radhakrishnan, Zhiwei Wang, Tommy Li, Khai Tran, Ananth Nagarajan, Ali Naqvi, Yue Zhang, Renpeng Fang, Avi Romascanu, Arjun Kulothungun, Deepak Kumar, Praneeth Boda, Fedor Borisyuk, Ruoyan Wang,
• Abstract要約: 我々は、LinkedInにデプロイされた広告CTR予測のための、エンド・ツー・エンドのデコーダのみの変換器CADETを提案する。 オンラインA/Bテストでは、CADETはLiRankベースラインモデルと比較して11.04%のCTRリフトを達成する。 システムはLinkedInの広告プラットフォームにデプロイされ、ホームフィードによるアップデートの主要なトラフィックを提供する。
• 参考スコア（独自算出の注目度）: 11.143142950626169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Click-through rate (CTR) prediction is fundamental to online advertising systems. While Deep Learning Recommendation Models (DLRMs) with explicit feature interactions have long dominated this domain, recent advances in generative recommenders have shown promising results in content recommendation. However, adapting these transformer-based architectures to ads CTR prediction still presents unique challenges, including handling post-scoring contextual signals, maintaining offline-online consistency, and scaling to industrial workloads. We present CADET (Context-Conditioned Ads Decoder-Only Transformer), an end-to-end decoder-only transformer for ads CTR prediction deployed at LinkedIn. Our approach introduces several key innovations: (1) a context-conditioned decoding architecture with multi-tower prediction heads that explicitly model post-scoring signals such as ad position, resolving the chicken-and-egg problem between predicted CTR and ranking; (2) a self-gated attention mechanism that stabilizes training by adaptively regulating information flow at both representation and interaction levels; (3) a timestamp-based variant of Rotary Position Embedding (RoPE) that captures temporal relationships across timescales from seconds to months; (4) session masking strategies that prevent the model from learning dependencies on unavailable in-session events, addressing train-serve skew; and (5) production engineering techniques including tensor packing, sequence chunking, and custom Flash Attention kernels that enable efficient training and serving at scale. In online A/B testing, CADET achieves a 11.04\% CTR lift compared to the production LiRank baseline model, a hybrid ensemble of DCNv2 and sequential encoders. The system has been successfully deployed on LinkedIn's advertising platform, serving the main traffic for homefeed sponsored updates.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、オンライン広告システムに不可欠である。 明示的な特徴相互作用を持つ深層学習勧告モデル(DLRM)が長年この領域を支配してきたが、近年のジェネレーティブレコメンデーターの進歩は、コンテンツレコメンデーションにおいて有望な結果を示している。 しかし、これらのトランスフォーマーベースのアーキテクチャを広告に適応させることで、CTR予測は、後のコンテキスト信号の処理、オフライン-オンライン一貫性の維持、産業ワークロードへのスケーリングなど、ユニークな課題をまだ示している。 CADET(Context-Conditioned Ads Decoder-Only Transformer)は、LinkedInにデプロイされた広告CTR予測のための、エンドツーエンドのデコーダのみのトランスである。 提案手法では,(1)広告位置や予測CTRとランキング間のチキン・アンド・エッグ問題を明示的にモデル化するマルチトウエア予測ヘッドを用いたコンテキスト条件のデコーディングアーキテクチャ,(2)表現レベルと相互作用レベルの両方で情報フローを適応的に制御することでトレーニングを安定化するセルフゲートアテンション機構,(3)時間領域の時間的関係を数秒から数ヶ月にわたってキャプチャするロータリー位置埋め込み(RoPE)のタイムスタンプベースの変種,(4)セッションマスキング戦略,(5)テンソルパック,チャンク,Flashカーネルのテンソルパックなど,モデルが不要なインセッションイベントへの依存を学習するのを防ぐセッションマスキング戦略,など,いくつかの重要なイノベーションを紹介した。 オンラインA/Bテストでは、CADETはDCNv2とシーケンシャルエンコーダのハイブリッドアンサンブルであるLiRankベースラインモデルと比較して11.04\%のCTRリフトを達成する。 システムはLinkedInの広告プラットフォームにデプロイされ、ホームフィードによるアップデートの主要なトラフィックを提供する。

関連論文リスト

• EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling [13.693397814262681]
  近年,産業用クリックスルーレート(CTR)予測の効率化が注目されている。 そこで本研究では,すべての生入力を単一シーケンスで処理して完全に統一されたモデリングを実現する,効率よくスケーラブルな変換器 (EST) を提案する。 ESTは生産ベースラインを大幅に上回り、3.27%のRPM(Revenue Per Mile)と1.22%のCTRリフトを提供する。
  論文  参考訳（メタデータ） (2026-02-11T12:51:54Z)
• GenCI: Generative Modeling of User Interest Shift via Cohort-based Intent Learning for CTR Prediction [84.0125708499372]
  本稿では,クリックスルー率(CTR)予測のためのユーザ嗜好をモデル化するための生成ユーザ意図フレームワークを提案する。 このフレームワークはまず、次の項目の予測目標で訓練された生成モデルを使用して、候補の関心コホートを積極的に生成する。 階層的候補認識ネットワークは、このリッチなコンテキスト信号をランキングステージに注入し、ユーザ履歴とターゲットアイテムの両方に適合するように、クロスアテンションで精製する。
  論文  参考訳（メタデータ） (2026-01-26T08:15:04Z)
• DLF: Enhancing Explicit-Implicit Interaction via Dynamic Low-Order-Aware Fusion for CTR Prediction [71.41414150295702]
  本稿では,クリックスルー率(CTR)予測をモデル化するための新しいフレームワークである動的低次認識融合(DLF)を提案する。 RLIは残差接続からの冗長性を緩和しながら低次信号を保持し、NAFは各層での明示的および暗黙的な表現を動的に統合し、情報共有を強化する。 公開データセットの実験では、DLFがCTR予測における最先端のパフォーマンスを達成し、既存のモデルの重要な制限に対処していることが示されている。
  論文  参考訳（メタデータ） (2025-05-25T15:05:00Z)
• Improving conversion rate prediction via self-supervised pre-training in online advertising [2.447795279790662]
  変換-ギブン-クリックを予測するモデルのトレーニングにおける重要な課題は、データの疎性にある。 我々は、自己教師付き事前学習というよく知られたアイデアを使用し、すべての変換イベントに基づいて訓練された補助的オートエンコーダモデルを使用する。 オフラインでも、トレーニング中でも、オンラインA/Bテストでも改善が見られます。
  論文  参考訳（メタデータ） (2024-01-25T08:44:22Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Real-Time Motion Prediction via Heterogeneous Polyline Transformer with Relative Pose Encoding [121.08841110022607]
  既存のエージェント中心の手法は、公開ベンチマークで顕著な性能を示した。 K-nearest neighbor attention with relative pose encoding (KNARPE) は、トランスフォーマーがペアワイズ相対表現を使用できる新しいアテンション機構である。 エージェント間でコンテキストを共有し、変化しないコンテキストを再利用することで、私たちのアプローチはシーン中心のメソッドと同じくらい効率的になり、最先端のエージェント中心のメソッドと同等に実行されます。
  論文  参考訳（メタデータ） (2023-10-19T17:59:01Z)
• Click-Conversion Multi-Task Model with Position Bias Mitigation for Sponsored Search in eCommerce [51.211924408864355]
  位置認識型クリック変換(PACC)と位置埋め込み(PACC-PE)によるPACCの2つの位置バイアスのない予測モデルを提案する。 Eコマースが支援する製品検索データセットの実験により、提案したモデルではランキングの有効性が向上し、CTRとCVRの予測における位置バイアスを大幅に軽減できることが示された。
  論文  参考訳（メタデータ） (2023-07-29T19:41:16Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
  本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。 提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
  論文  参考訳（メタデータ） (2022-11-03T20:20:47Z)
• Concept Drift Adaptation for CTR Prediction in Online Advertising Systems [6.900209851954917]
  クリックスルー率(CTR)予測は、ウェブ検索、レコメンダシステム、オンライン広告表示において重要な課題である。 本稿では,CTR予測データストリームにおける適応フィルタリングによるコンセプトドリフト問題を軽減するために,専門家の適応混合(AdaMoE)を提案する。
  論文  参考訳（メタデータ） (2022-04-01T07:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。