論文の概要: DADNN: Multi-Scene CTR Prediction via Domain-Aware Deep Neural Network

• arxiv url: http://arxiv.org/abs/2011.11938v1
• Date: Tue, 24 Nov 2020 07:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:43:30.407670
• Title: DADNN: Multi-Scene CTR Prediction via Domain-Aware Deep Neural Network
• Title（参考訳）: DADNN:ドメイン対応ディープニューラルネットワークによるマルチシーンCTR予測
• Authors: Junyou He, Guibao Mei, Feng Xing, Xiaorui Yang, Yongjun Bao, Weipeng Yan
• Abstract要約: 本稿では,ドメイン認識深層ニューラルネットワーク(DADNN)という新しいモデルを提案する。 本稿では,共有ボトムブロックが多層パーセプトロン(MLP)とMMOE(Multi-gate Mixture-of-Experts)であるDADNNの2つの事例について検討する。 我々の会社の実運用データセットに関する総合的なオフライン実験は、DADNNがマルチシーンCTR予測のための最先端のいくつかの手法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 8.549316609025901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click through rate(CTR) prediction is a core task in advertising systems. The booming e-commerce business in our company, results in a growing number of scenes. Most of them are so-called long-tail scenes, which means that the traffic of a single scene is limited, but the overall traffic is considerable. Typical studies mainly focus on serving a single scene with a well designed model. However, this method brings excessive resource consumption both on offline training and online serving. Besides, simply training a single model with data from multiple scenes ignores the characteristics of their own. To address these challenges, we propose a novel but practical model named Domain-Aware Deep Neural Network(DADNN) by serving multiple scenes with only one model. Specifically, shared bottom block among all scenes is applied to learn a common representation, while domain-specific heads maintain the characteristics of every scene. Besides, knowledge transfer is introduced to enhance the opportunity of knowledge sharing among different scenes. In this paper, we study two instances of DADNN where its shared bottom block is multilayer perceptron(MLP) and Multi-gate Mixture-of-Experts(MMoE) respectively, for which we denote as DADNN-MLP and DADNN-MMoE.Comprehensive offline experiments on a real production dataset from our company show that DADNN outperforms several state-of-the-art methods for multi-scene CTR prediction. Extensive online A/B tests reveal that DADNN-MLP contributes up to 6.7% CTR and 3.0% CPM(Cost Per Mille) promotion compared with a well-engineered DCN model. Furthermore, DADNN-MMoE outperforms DADNN-MLP with a relative improvement of 2.2% and 2.7% on CTR and CPM respectively. More importantly, DADNN utilizes a single model for multiple scenes which saves a lot of offline training and online serving resources.
• Abstract（参考訳）: クリックスルーレート(CTR)予測は、広告システムにおける中核的なタスクである。 当社のeコマースビジネスが急成長するにつれ、シーンが増えている。 多くはいわゆるロングテールのシーンであり、単一のシーンのトラフィックは限られているが、全体のトラフィックは相当に多い。 典型的な研究は主に、1つのシーンによく設計されたモデルを提供することに重点を置いている。 しかし、この方法はオフライントレーニングとオンラインサービスの両方で過剰なリソース消費をもたらす。 さらに、複数のシーンからのデータで単一のモデルをトレーニングするだけで、独自の特性が無視される。 これらの課題に対処するために,ドメイン認識深層ニューラルネットワーク (DADNN) という新しい実用モデルを提案し,複数のシーンを1つのモデルで提供する。 具体的には、すべてのシーンで共有されたボトムブロックを使用して共通の表現を学習し、ドメイン固有のヘッドは各シーンの特徴を保持します。 また,異なる場面間での知識共有の機会を高めるために,知識伝達を導入した。 本稿では,DADNNの共通底ブロックが多層パーセプトロン(MLP)とMulti-gate Mixture-of-Experts(MMoE)であり,DADNN-MLPとDADNN-MMoEと表記する2つの事例について検討する。 オンラインA/Bテストにより、DADNN-MLPはDCNモデルと比較して最大6.7%のCTRと3.0%のCPM(Cost Per Mille)のプロモーションに寄与していることが明らかになった。 さらに、DADNN-MMoEはDADNN-MLPよりも2.2%、CTRは2.7%向上している。 さらに重要なのは、DADNNは単一のモデルを複数のシーンに使用することで、オフライントレーニングとオンラインサービスリソースを多く節約する。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Deep Domain Specialisation for single-model multi-domain learning to rank [1.534667887016089]
  複数のモデルをトレーニングし、メンテナンスし、更新するコストは、すべてのドメインに責任を持つ単一のモデルを持つよりも高い。 本稿では,複数のドメインをひとつのモデルに統合するディープ・ドメイン・スペシャライゼーション(DDS)のアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:19:19Z)
• Iterative Assessment and Improvement of DNN Operational Accuracy [11.447394702830412]
  DAIC (DNN Assessment and Improvement Cycle) は,オンライン擬似画像の「低コスト」とオフラインサンプリング技術「高コスト」を組み合わせた手法である。 予備的な結果は、この2つのアプローチを組み合わせる利点を示している。
  論文  参考訳（メタデータ） (2023-03-02T14:21:54Z)
• Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
  ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-11T16:32:28Z)
• Deep Multi-Representation Model for Click-Through Rate Prediction [6.155158115218501]
  CTR(Click-Through Rate Prediction)は、レコメンデーションシステムにおいて重要なタスクである。 本稿では、2つの強力な特徴表現学習コンポーネントの混合を共同で訓練するDeep Multi-Representation Model(DeepMR)を提案する。 3つの実世界のデータセットの実験により、提案モデルがクリックスルー率予測のタスクにおいて、すべての最先端モデルを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2022-10-18T09:37:11Z)
• Analysis of Distributed Deep Learning in the Cloud [17.91202259637393]
  本研究では,分散ディープラーニング(DDL)プロファイラを導入し,パブリッククラウド上で実行中のDDLが抱えるさまざまな実行"ストール"を判定する。 通信ストールとネットワークストールの2種類の通信ストールを推定する。 プロファイラを使用して一般的なDNNモデルをトレーニングして、さまざまなAWS GPUインスタンスを特徴付け、ユーザが情報的な決定を下す上でのメリットと欠点をリストアップします。
  論文  参考訳（メタデータ） (2022-08-30T15:42:36Z)
• A General Multiple Data Augmentation Based Framework for Training Deep Neural Networks [5.041762456192655]
  ディープニューラルネットワーク(DNN)は、多くのアプリケーションではアクセスできない巨大なラベル付きデータをトレーニングに頼っていることが多い。 データ拡張(DA)は、利用可能なデータから新しいラベル付きデータを作成することで、データの不足に対処する。 任意のDA手法を利用できる汎用マルチDAベースのDNNトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T09:01:47Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog [70.79442700890843]
  本稿では,対象ドメインと各ドメインの関連性を自動的に活用する新しい動的核融合ネットワーク(DF-Net)を提案する。 トレーニングデータが少ないと、平均13.9%の事前最良モデルを上回り、転送可能性を示す。
  論文  参考訳（メタデータ） (2020-04-23T08:17:22Z)
• The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding [97.85957811603251]
  MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
  論文  参考訳（メタデータ） (2020-02-19T03:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。