論文の概要: Exploring Scaling Laws of CTR Model for Online Performance Improvement

• arxiv url: http://arxiv.org/abs/2508.15326v1
• Date: Thu, 21 Aug 2025 07:41:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.229558
• Title: Exploring Scaling Laws of CTR Model for Online Performance Improvement
• Title（参考訳）: オンラインパフォーマンス向上のためのCTRモデルのスケーリング法則の探索
• Authors: Weijiang Lai, Beihong Jin, Jiongyan Zhang, Yiyuan Zheng, Jian Dong, Jia Cheng, Jun Lei, Xingxing Wang,
• Abstract要約: CTRモデルは、多くのオンラインパーソナライズされたサービスにおいて、ユーザーエクスペリエンスを改善し、ビジネス収益を高める上で重要な役割を果たす。 まず、モデルグレードとデータサイズにスケーラブルなCTRモデルを構築し、そのモデルに入力された知識をオンラインユーザに提供する軽量モデルに蒸留する。 実験結果から,SUANは優れた性能を示し,モデルグレードとデータサイズにおいて3桁のスケール法則を定めていることがわかった。
• 参考スコア（独自算出の注目度）: 11.774715541694958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: CTR models play a vital role in improving user experience and boosting business revenue in many online personalized services. However, current CTR models generally encounter bottlenecks in performance improvement. Inspired by the scaling law phenomenon of LLMs, we propose a new paradigm for improving CTR predictions: first, constructing a CTR model with accuracy scalable to the model grade and data size, and then distilling the knowledge implied in this model into its lightweight model that can serve online users. To put it into practice, we construct a CTR model named SUAN (Stacked Unified Attention Network). In SUAN, we propose the UAB as a behavior sequence encoder. A single UAB unifies the modeling of the sequential and non-sequential features and also measures the importance of each user behavior feature from multiple perspectives. Stacked UABs elevate the configuration to a high grade, paving the way for performance improvement. In order to benefit from the high performance of the high-grade SUAN and avoid the disadvantage of its long inference time, we modify the SUAN with sparse self-attention and parallel inference strategies to form LightSUAN, and then adopt online distillation to train the low-grade LightSUAN, taking a high-grade SUAN as a teacher. The distilled LightSUAN has superior performance but the same inference time as the LightSUAN, making it well-suited for online deployment. Experimental results show that SUAN performs exceptionally well and holds the scaling laws spanning three orders of magnitude in model grade and data size, and the distilled LightSUAN outperforms the SUAN configured with one grade higher. More importantly, the distilled LightSUAN has been integrated into an online service, increasing the CTR by 2.81% and CPM by 1.69% while keeping the average inference time acceptable. Our source code is available at https://github.com/laiweijiang/SUAN.
• Abstract（参考訳）: CTRモデルは、多くのオンラインパーソナライズされたサービスにおいて、ユーザーエクスペリエンスを改善し、ビジネス収益を高める上で重要な役割を果たす。 しかし、現在のCTRモデルは一般的にパフォーマンス改善のボトルネックに直面する。 まず、モデルグレードとデータサイズにスケーラブルなCTRモデルを構築し、そのモデルに入力された知識をオンラインユーザに提供する軽量モデルに蒸留する。 そこで我々はSUAN(Stacked Unified Attention Network)と呼ばれるCTRモデルを構築した。 SuANでは、動作シーケンスエンコーダとしてUABを提案する。 1つのUABは、シーケンシャルな特徴と非シーケンシャルな特徴のモデリングを統一し、また複数の視点から各ユーザー行動機能の重要性を測定する。 スタックされたUABは、構成をハイグレードに高め、パフォーマンス改善の道を開く。 上位のSUANの高性能化と長期の推論時間の不備を回避するため,低レベルのSUANを教師として利用して,低級のSUANをトレーニングするために,低級のSUANをトレーニングするために,低級のSUANの自己注意と並列推論戦略を施したSUANを改良し,LightSUANを形成する。 蒸留されたLightSUANは優れた性能を持つが、LightSUANと同じ推論時間であり、オンライン展開に適している。 実験結果から,SUANはモデルグレードとデータサイズにおいて3桁のスケール法則を保ち,SANを1グレード以上で上回る性能を示した。 さらに重要なことに、蒸留したLightSUANはオンラインサービスに統合され、CTRは2.81%、CPMは1.69%増加し、平均推定時間は許容されている。 ソースコードはhttps://github.com/laiweijiang/SUAN.comで公開されています。

関連論文リスト

• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Balancing Efficiency and Effectiveness: An LLM-Infused Approach for Optimized CTR Prediction [19.657522015829922]
  エンド・ツー・エンドの深い意味情報をモデル化する新しいアプローチを導入する。 私たちのフレームワークは効率と効率のバランスをとるために慎重に設計されています。 Meituan sponsored-searchシステムで実施したオンラインA/Bテストでは,コスト・パー・マイル(CPM)とクリック・スルー・レート(CTR)でベースライン・モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-12-09T02:36:38Z)
• Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping [53.454408491386886]
  自己アライメントのブートストラップは、シングルラウンドアプローチをはるかに上回る。 モデルが継続的に強化した複数ショット機能を活用してゼロまたはワンショットのパフォーマンスを向上するステップ・オン・フィート・チューニング(SOFT)を提案する。 簡単な学習法に基づいて、自己アライメントの性能をさらに向上させるSOFT+を提案する。
  論文  参考訳（メタデータ） (2024-02-12T12:30:42Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Efficient Long Sequential User Data Modeling for Click-Through Rate Prediction [9.455385139394494]
  本稿では,長期動作シーケンスをモデル化し,優れた性能と優れたコスト効率を実現するエンド・ツー・エンドのパラダイムを提案する。 まず、エンド・ツー・エンドのユーザ行動検索を可能にするために、ETA-Netというハッシュベースの効率的なターゲットアテンション(TA)ネットワークを提案する。 ETA-Netはタオバオのレコメンダシステムに配備されており、SOTAの2段法に比べてCTRが1.8%上昇し、Gross Merchandise Value(GMV)が3.1%上昇した。
  論文  参考訳（メタデータ） (2022-09-25T12:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。