論文の概要: A Practical Incremental Method to Train Deep CTR Models

• arxiv url: http://arxiv.org/abs/2009.02147v1
• Date: Fri, 4 Sep 2020 12:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 02:16:46.246475
• Title: A Practical Incremental Method to Train Deep CTR Models
• Title（参考訳）: 深部CTRモデルの訓練のための実践的インクリメンタル手法
• Authors: Yichao Wang, Huifeng Guo, Ruiming Tang, Zhirong Liu, Xiuqiang He
• Abstract要約: 本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。 提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
• 参考スコア（独自算出の注目度）: 37.54660958085938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models in recommender systems are usually trained in the batch mode, namely iteratively trained on a fixed-size window of training data. Such batch mode training of deep learning models suffers from low training efficiency, which may lead to performance degradation when the model is not produced on time. To tackle this issue, incremental learning is proposed and has received much attention recently. Incremental learning has great potential in recommender systems, as two consecutive window of training data overlap most of the volume. It aims to update the model incrementally with only the newly incoming samples from the timestamp when the model is updated last time, which is much more efficient than the batch mode training. However, most of the incremental learning methods focus on the research area of image recognition where new tasks or classes are learned over time. In this work, we introduce a practical incremental method to train deep CTR models, which consists of three decoupled modules (namely, data, feature and model module). Our method can achieve comparable performance to the conventional batch mode training with much better training efficiency. We conduct extensive experiments on a public benchmark and a private dataset to demonstrate the effectiveness of our proposed method.
• Abstract（参考訳）: レコメンデータシステムのディープラーニングモデルは、通常、バッチモード、すなわちトレーニングデータの固定サイズのウィンドウで反復的にトレーニングされる。 このような深層学習モデルのバッチモードトレーニングは、トレーニング効率の低下に悩まされ、モデルが時間通りに作成されない場合のパフォーマンス低下につながる可能性がある。 この問題に取り組むために,インクリメンタル学習が提案され,近年注目されている。 インクリメンタル学習はレコメンダシステムにおいて大きな可能性を秘めており、トレーニングデータの2つの連続したウィンドウがボリュームの大部分を重複している。 前回のモデル更新時にタイムスタンプから新たに入力されたサンプルのみをインクリメンタルに更新することを目的としており、バッチモードのトレーニングよりもはるかに効率的である。 しかし、ほとんどのインクリメンタル学習手法は、新しいタスクやクラスが時間とともに学習される画像認識の研究領域に焦点を当てている。 本研究では,3つの切り離されたモジュール(データ,特徴,モデルモジュール)からなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。 本手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。 提案手法の有効性を実証するために,公開ベンチマークとプライベートデータセットについて広範な実験を行った。

関連論文リスト

• Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
  本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。 提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
  論文  参考訳（メタデータ） (2024-10-03T21:18:04Z)
• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Effective training-time stacking for ensembling of deep neural networks [1.2667973028134798]
  スナップショットアンサンブルは、単一のトレーニングパスに沿ってアンサンブル内のモデルを収集する。 トレーニングパスに沿ってアンサンブルメンバーを選択して重み付けすることでスナップショットアンサンブルを改善する。 標準の積み重ねメソッドが行う検証サンプルエラーを考慮せずに、トレーニング時間の確率に依存する。
  論文  参考訳（メタデータ） (2022-06-27T17:52:53Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。