論文の概要: FeatureBox: Feature Engineering on GPUs for Massive-Scale Ads Systems

• arxiv url: http://arxiv.org/abs/2210.07768v1
• Date: Mon, 26 Sep 2022 02:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 20:51:28.570144
• Title: FeatureBox: Feature Engineering on GPUs for Massive-Scale Ads Systems
• Title（参考訳）: FeatureBox: 大規模広告システムのためのGPUの機能エンジニアリング
• Authors: Weijie Zhao, Xuewu Jiao, Xinsheng Luo, Jingxue Li, Belhal Karimi, Ping Li
• Abstract要約: 本稿では,機能抽出の中間I/Oを保存するために,GPUサーバ上での機能抽出とトレーニングをパイプライン化する,新たなエンドツーエンドトレーニングフレームワークを提案する。 オーバーヘッドを最小限に抑えた動的GPUメモリアロケーションをサポートする軽量GPUメモリ管理アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.622358361804343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has been widely deployed for online ads systems to predict Click-Through Rate (CTR). Machine learning researchers and practitioners frequently retrain CTR models to test their new extracted features. However, the CTR model training often relies on a large number of raw input data logs. Hence, the feature extraction can take a significant proportion of the training time for an industrial-level CTR model. In this paper, we propose FeatureBox, a novel end-to-end training framework that pipelines the feature extraction and the training on GPU servers to save the intermediate I/O of the feature extraction. We rewrite computation-intensive feature extraction operators as GPU operators and leave the memory-intensive operator on CPUs. We introduce a layer-wise operator scheduling algorithm to schedule these heterogeneous operators. We present a light-weight GPU memory management algorithm that supports dynamic GPU memory allocation with minimal overhead. We experimentally evaluate FeatureBox and compare it with the previous in-production feature extraction framework on two real-world ads applications. The results confirm the effectiveness of our proposed method.
• Abstract（参考訳）: オンライン広告システムでは、Click-Through Rate(CTR)を予測するためにディープラーニングが広く使われている。 機械学習の研究者や実践者は、新しい抽出された機能をテストするために、頻繁にCTRモデルをトレーニングする。 しかし、CTRモデルのトレーニングは、しばしば大量の生のデータログに依存している。 これにより,産業レベルのCTRモデルのトレーニング時間のかなりの割合で特徴抽出を行うことができる。 本稿では,機能抽出の中間I/Oを保存するために,GPUサーバ上で機能抽出とトレーニングをパイプライン化する,新しいエンドツーエンドトレーニングフレームワークであるFeatureBoxを提案する。 我々は計算集約的な特徴抽出演算子をGPU演算子として書き直し、メモリ集約的な演算子をCPUに残す。 これらの不均一な演算子をスケジューリングするための階層演算子スケジューリングアルゴリズムを提案する。 オーバーヘッドを最小限に抑えた動的GPUメモリ割り当てをサポートする軽量GPUメモリ管理アルゴリズムを提案する。 実験によりFeatureBoxを評価し、2つの現実世界の広告アプリケーション上で、以前の実運用機能抽出フレームワークと比較した。 その結果,提案手法の有効性が確認された。

関連論文リスト

• Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。 提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• RAF: Holistic Compilation for Deep Learning Model Training [17.956035630476173]
  本稿では,学習のための深層学習コンパイラであるRAFについて述べる。 既存のDLCとは異なり、RAFはフォワードモデルを受け入れ、社内でトレーニンググラフを生成する。 RAFは、パフォーマンス、メモリ、分散トレーニングのためのグラフ最適化を体系的に統合することができる。
  論文  参考訳（メタデータ） (2023-03-08T17:51:13Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising [32.5337643852876]
  CTR(Click-Through Rate)予測は、オンライン広告業界において重要な要素である。 大規模な広告モデルのための既存のGPUトレーニングにおける2つの大きな課題を特定します。 ハードウェアトポロジをアルゴリズム設計に結合するハードウェア対応トレーニングワークフローを提案する。
  論文  参考訳（メタデータ） (2022-01-05T18:09:11Z)
• Providing Meaningful Data Summarizations Using Examplar-based Clustering in Industry 4.0 [67.80123919697971]
  我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。 提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-05-25T15:55:14Z)
• ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table [23.264897780201316]
  様々なCTR(Deep Click-Through Rate)モデルが工業企業によって商用システムに展開されています。 優れた性能を得るためには、大量のトレーニングデータに基づいて深部CTRモデルを効率的に訓練する必要がある。 ScaleFreeCTR:CTRモデルのためのMixCacheベースの分散トレーニングシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-17T13:36:19Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning [5.251940442946459]
  本研究では、与えられたモデルとデータフロースタイルに対して最適化されたHWリソース割り当てを見つけるために、ConfuciuXと呼ばれる自律的戦略を提案する。 最適化されたハードウェア構成4.7から24倍の速度で収束する。
  論文  参考訳（メタデータ） (2020-09-04T04:59:26Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。