論文の概要: ML-DCN: Masked Low-Rank Deep Crossing Network Towards Scalable Ads Click-through Rate Prediction at Pinterest

• arxiv url: http://arxiv.org/abs/2602.09194v1
• Date: Mon, 09 Feb 2026 20:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.24561
• Title: ML-DCN: Masked Low-Rank Deep Crossing Network Towards Scalable Ads Click-through Rate Prediction at Pinterest
• Title（参考訳）: ML-DCN: Pinterestのスケーラブル広告クリックスルー率予測に向けて、マスクされた低ランクディープクロスネットワーク
• Authors: Jiacheng Li, Yixiong Meng, Yi wu, Yun Zhao, Sharare Zehtabian, Jiayin Jin, Degao Peng, Jinfeng Zhuang, Qifei Shen, Kungang Li,
• Abstract要約: 固定的なサービス予算の下で機能間相互作用モジュールをスケールする方法について検討する。 本稿では,インスタンス条件付きマスクを低ランク交差層に統合する対話モジュールML-DCNを提案する。 大規模な内部Pinterest広告データセットの実験は、ML-DCNがDCNv2、MaskNet、そして最近、一致するFLOPにおけるスケーリング指向の選択肢よりも高いAUCを達成することを示している。
• 参考スコア（独自算出の注目度）: 10.393086325256974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning recommendation systems rely on feature interaction modules to model complex user-item relationships across sparse categorical and dense features. In large-scale ad ranking, increasing model capacity is a promising path to improving both predictive performance and business outcomes, yet production serving budgets impose strict constraints on latency and FLOPs. This creates a central tension: we want interaction modules that both scale effectively with additional compute and remain compute-efficient at serving time. In this work, we study how to scale feature interaction modules under a fixed serving budget. We find that naively scaling DCNv2 and MaskNet, despite their widespread adoption in industry, yields rapidly diminishing offline gains in the Pinterest ads ranking system. To overcome aforementioned limitations, we propose ML-DCN, an interaction module that integrates an instance-conditioned mask into a low-rank crossing layer, enabling per-example selection and amplification of salient interaction directions while maintaining efficient computation. This novel architecture combines the strengths of DCNv2 and MaskNet, scales efficiently with increased compute, and achieves state-of-the-art performance. Experiments on a large internal Pinterest ads dataset show that ML-DCN achieves higher AUC than DCNv2, MaskNet, and recent scaling-oriented alternatives at matched FLOPs, and it scales more favorably overall as compute increases, exhibiting a stronger AUC-FLOPs trade-off. Finally, online A/B tests demonstrate statistically significant improvements in key ads metrics (including CTR and click-quality measures) and ML-DCN has been deployed in the production system with neutral serving cost.
• Abstract（参考訳）: ディープラーニングレコメンデーションシステムは、スパースカテゴリと密な機能にまたがる複雑なユーザ-イテム関係をモデル化するために、機能相互作用モジュールに依存している。 大規模広告ランキングでは、モデル容量の増加は予測性能とビジネス成果の両方を改善するための有望な道である。 これは中心的な緊張を生み出します。我々は、追加の計算で効果的にスケールし、サービス時に計算効率を保った相互作用モジュールが必要です。 本研究では,固定的なサービス予算の下で機能相互作用モジュールをスケールする方法について検討する。 DCNv2とMaskNetは、業界で広く採用されているにもかかわらず、Pinterestの広告ランキングシステムにおけるオフラインの伸びが急速に減少していることに気付きました。 上記の制限を克服するため、ML-DCNは、インスタンス条件のマスクを低ランクの交差層に統合し、効率的な計算を維持しつつ、サンプルごとの選択と正当な相互作用方向の増幅を可能にする相互作用モジュールである。 このアーキテクチャはDCNv2とMaskNetの強みを結合し、計算量の増加とともに効率よくスケールし、最先端のパフォーマンスを実現する。 大規模な内部Pinterest広告データセットの実験によると、ML-DCNはDCNv2、MaskNet、および最近のスケール指向の選択肢であるマッチングFLOPよりも高いAUCを実現している。 最後に、オンラインA/Bテストでは、主要な広告指標(CTRやクリック品質測定など)が統計的に大幅に改善され、ML-DCNは中立的なサービスコストで運用システムにデプロイされている。

関連論文リスト

• Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
  マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。 MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。 これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
  論文  参考訳（メタデータ） (2026-01-27T13:45:03Z)
• DCN^2: Interplay of Implicit Collision Weights and Explicit Cross Layers for Large-Scale Recommendation [1.1027313935007121]
  我々はDCNv2アーキテクチャに3つの重要なアルゴリズム的改善を導入し、その定式化と大規模動作について詳述する。 DCN2と呼ばれる拡張アーキテクチャは、さまざまなユースケースで毎秒0.5億以上の予測を処理するライブレコメンデーションシステムで積極的に使われています。 これらの改善は、クロス層の情報損失、学習可能なルックアップレベルの重みによる衝突の暗黙の管理、FFMの振る舞いをエミュレートするカスタムレイヤとのペアワイズ類似性の明示的なモデリングなど、DCNv2で観測される重要な制限に効果的に対処する。
  論文  参考訳（メタデータ） (2025-06-24T06:44:42Z)
• MID-L: Matrix-Interpolated Dropout Layer with Layer-wise Neuron Selection [0.0]
  Matrix-Interpolated Dropout Layer (MID-L) は、最も情報性の高いニューロンのみを動的に選択し、活性化する。 MNIST, CIFAR-10, CIFAR-100, SVHN, UCI adult, IMDB の6つのベンチマークによる実験の結果, MID-L は活動ニューロンの55%まで減少することがわかった。
  論文  参考訳（メタデータ） (2025-05-16T16:29:19Z)
• ALWNN Empowered Automatic Modulation Classification: Conquering Complexity and Scarce Sample Conditions [24.59462798452397]
  本稿では、適応軽量ウェーブレットニューラルネットワーク(ALWNN)とマルチショットフレームワーク(MALWNN)に基づく自動変調分類モデルを提案する。 ALWNNモデルは適応ウェーブレットニューラルネットワークと深度分離可能な畳み込みを統合することで、モデルパラメータの数と計算複雑性を低減する。 MALWNNの実験では、他のアルゴリズムと比較して、数ショットの学習シナリオでは優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-24T06:14:33Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  多目的ベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ要求,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems [15.398542784403604]
  Deep & Cross Network (DCN) は、境界度予測機能相互作用を自動かつ効率的に学習するために提案されている。 大規模産業環境でDCNをより実用的なものにするために,DCN-V2の改良フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-19T20:33:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。