論文の概要: EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling

• arxiv url: http://arxiv.org/abs/2602.10811v1
• Date: Wed, 11 Feb 2026 12:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.901764
• Title: EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling
• Title（参考訳）: EST: 統一モデリングによるクリックスルーレート予測における効率的なスケーリング法則を目指して
• Authors: Mingyang Liu, Yong Bai, Zhangming Chan, Sishuo Chen, Xiang-Rong Sheng, Han Zhu, Jian Xu, Xinyang Chen,
• Abstract要約: 近年,産業用クリックスルーレート(CTR)予測の効率化が注目されている。 そこで本研究では,すべての生入力を単一シーケンスで処理して完全に統一されたモデリングを実現する,効率よくスケーラブルな変換器 (EST) を提案する。 ESTは生産ベースラインを大幅に上回り、3.27%のRPM(Revenue Per Mile)と1.22%のCTRリフトを提供する。
• 参考スコア（独自算出の注目度）: 13.693397814262681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently scaling industrial Click-Through Rate (CTR) prediction has recently attracted significant research attention. Existing approaches typically employ early aggregation of user behaviors to maintain efficiency. However, such non-unified or partially unified modeling creates an information bottleneck by discarding fine-grained, token-level signals essential for unlocking scaling gains. In this work, we revisit the fundamental distinctions between CTR prediction and Large Language Models (LLMs), identifying two critical properties: the asymmetry in information density between behavioral and non-behavioral features, and the modality-specific priors of content-rich signals. Accordingly, we propose the Efficiently Scalable Transformer (EST), which achieves fully unified modeling by processing all raw inputs in a single sequence without lossy aggregation. EST integrates two modules: Lightweight Cross-Attention (LCA), which prunes redundant self-interactions to focus on high-impact cross-feature dependencies, and Content Sparse Attention (CSA), which utilizes content similarity to dynamically select high-signal behaviors. Extensive experiments show that EST exhibits a stable and efficient power-law scaling relationship, enabling predictable performance gains with model scale. Deployed on Taobao's display advertising platform, EST significantly outperforms production baselines, delivering a 3.27\% RPM (Revenue Per Mile) increase and a 1.22\% CTR lift, establishing a practical pathway for scalable industrial CTR prediction models.
• Abstract（参考訳）: 近年,産業用クリックスルーレート(CTR)予測の効率化が注目されている。 既存のアプローチでは、通常、効率を維持するためにユーザーの振る舞いを早期に集約する。 しかし、そのような統一されていないあるいは部分的に統一されたモデリングは、スケーリングゲインのアンロックに不可欠な、きめ細かいトークンレベルの信号を捨てることで、情報のボトルネックを生み出す。 本研究では,CTR予測とLarge Language Models (LLMs) の基本的な違いを再検討し,行動的特徴と非行動的特徴との間の情報密度の非対称性と,コンテンツリッチな信号のモダリティに特有な先行性という2つの重要な特性を同定する。 そこで本研究では,すべての生入力を単一シーケンスで処理することで,完全統一的なモデリングを実現するEfficiently Scalable Transformer (EST)を提案する。 ESTは2つのモジュールを統合している。LCA(Lightweight Cross-Attention)は、高インパクトなクロスフィーチャー依存関係に焦点を合わせるために冗長なセルフインタラクションを創り出すもので、コンテンツスパースアテンション(Content Sparse Attention)は、高信号の振る舞いを動的に選択するためにコンテンツ類似性を利用する。 大規模な実験により、ESTは安定かつ効率的なパワーロースケーリング関係を示し、モデルスケールによる予測可能なパフォーマンス向上を可能にした。 Taobaoのディスプレイ広告プラットフォーム上に展開されたESTは、生産ベースラインを大幅に上回り、3.27 % RPM(Revenue Per Mile)の増加と1.22 % CTRリフトを実現し、スケーラブルな産業用CTR予測モデルのための実用的な経路を確立した。

関連論文リスト

• STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models [11.965535230928372]
  Storeは,3つのコアイノベーションに基づいて構築された,統一的でスケーラブルなトークンベースのランキングフレームワークである。 我々のフレームワークは、予測精度(オンラインCTR 2.71%、AUC 1.195%)とトレーニング効率(1.84スループット)を継続的に改善します。
  論文  参考訳（メタデータ） (2025-11-24T06:20:02Z)
• From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction [14.997545091069894]
  クリックスルーレート(CTR)予測のためのディープモデルは、しばしば急速に減少するリターンを示す。 我々は根本原因を構造上のミスアライメントとみなしている。 本研究ではフィールド・アウェア・トランスフォーマー(FAT)について述べる。
  論文  参考訳（メタデータ） (2025-11-15T07:55:50Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• HoMer: Addressing Heterogeneities by Modeling Sequential and Set-wise Contexts for CTR Prediction [10.779868699316829]
  逐次的および集合的コンテキストをモデル化するためのホモジニアス指向トランスフォーマーであるHoMerを提案する。 HoMerは、AUCメトリックで工業ベースラインを0.0099向上させ、CTR/RPMのようなオンラインビジネスメトリクスを1.99%/2.46%向上させています。
  論文  参考訳（メタデータ） (2025-10-13T07:47:03Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction [68.34355552090103]
  本稿では, 試料内および試料間における微細な特徴相互作用の獲得を目的とした検索-拡張変換器(RAT)を開発した。 次に、トランスフォーマー層をカスケードされた注意で構築し、イントラサンプルとクロスサンプルの両方の機能インタラクションをキャプチャします。 実世界のデータセットの実験は、RATの有効性を裏付け、ロングテールシナリオにおいてその利点を示唆している。
  論文  参考訳（メタデータ） (2024-04-02T19:14:23Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。