論文の概要: The Evolution of Embedding Table Optimization and Multi-Epoch Training in Pinterest Ads Conversion

• arxiv url: http://arxiv.org/abs/2505.05605v1
• Date: Thu, 08 May 2025 19:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.062271
• Title: The Evolution of Embedding Table Optimization and Multi-Epoch Training in Pinterest Ads Conversion
• Title（参考訳）: Pinterest広告変換における埋め込み表最適化とマルチエポックトレーニングの進化
• Authors: Andrew Qiu, Shubham Barhate, Hin Wai Lui, Runze Su, Rafael Rios Müller, Kungang Li, Ling Leng, Han Sun, Shayan Ehsani, Zhifang Liu,
• Abstract要約: 変換予測のためのディープラーニングは、オンライン広告に広く応用されている。 これらのモデルは、Click、add-to-cart、checkout、その他の変換タイプなど、複数の目的を共同で予測するように訓練されているため、より複雑になっています。 本稿では、Pinterest Ads Conversionモデルにおいて、埋め込みテーブル最適化とマルチエポックトレーニングの開発から学んだ教訓を共有する。
• 参考スコア（独自算出の注目度）: 4.224548289918963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning for conversion prediction has found widespread applications in online advertising. These models have become more complex as they are trained to jointly predict multiple objectives such as click, add-to-cart, checkout and other conversion types. Additionally, the capacity and performance of these models can often be increased with the use of embedding tables that encode high cardinality categorical features such as advertiser, user, campaign, and product identifiers (IDs). These embedding tables can be pre-trained, but also learned end-to-end jointly with the model to directly optimize the model objectives. Training these large tables is challenging due to: gradient sparsity, the high cardinality of the categorical features, the non-uniform distribution of IDs and the very high label sparsity. These issues make training prone to both slow convergence and overfitting after the first epoch. Previous works addressed the multi-epoch overfitting issue by using: stronger feature hashing to reduce cardinality, filtering of low frequency IDs, regularization of the embedding tables, re-initialization of the embedding tables after each epoch, etc. Some of these techniques reduce overfitting at the expense of reduced model performance if used too aggressively. In this paper, we share key learnings from the development of embedding table optimization and multi-epoch training in Pinterest Ads Conversion models. We showcase how our Sparse Optimizer speeds up convergence, and how multi-epoch overfitting varies in severity between different objectives in a multi-task model depending on label sparsity. We propose a new approach to deal with multi-epoch overfitting: the use of a frequency-adaptive learning rate on the embedding tables and compare it to embedding re-initialization. We evaluate both methods offline using an industrial large-scale production dataset.
• Abstract（参考訳）: 変換予測のためのディープラーニングは、オンライン広告に広く応用されている。 これらのモデルは、Click、add-to-cart、checkout、その他の変換タイプなど、複数の目的を共同で予測するように訓練されているため、より複雑になっています。 さらに,広告主,ユーザ,キャンペーン,製品識別子(ID)などの高濃度カテゴリーの特徴を符号化する埋め込みテーブルを利用することで,これらのモデルの能力と性能を向上することができる。 これらの埋め込みテーブルは事前訓練できるが、モデルの目的を直接最適化するために、モデルとエンドツーエンドで学習する。 これらの大きなテーブルのトレーニングは、勾配の空間性、カテゴリーの特徴の高濃度性、IDの均一でない分布、そして非常に高いラベルの空間性によって困難である。 これらの問題により、最初の時代以降、トレーニングは緩やかに収束し、過度に適合する傾向にある。 これまでの研究では、濃度を下げるための強力な機能ハッシュ、低周波数IDのフィルタリング、埋め込みテーブルの正規化、各エポック後の埋め込みテーブルの再初期化などを使用して、マルチエポックなオーバーフィッティングの問題に対処していた。 これらの技法のいくつかは、積極的すぎるとモデル性能の低下を犠牲にして過度な適合を減少させる。 本稿では、Pinterest Ads Conversionモデルにおいて、埋め込みテーブル最適化とマルチエポックトレーニングの開発から学んだ教訓を共有する。 Sparse Optimizerがコンバージェンスを高速化し、ラベルの間隔に依存するマルチタスクモデルにおいて、異なる目的間の重大度がマルチエポックオーバーフィッティングによってどのように変化するかを示す。 本稿では,組込みテーブルに周波数適応学習率を適用し,組込み再初期化と比較し,マルチエポックオーバーフィッティングに対処する新しい手法を提案する。 産業用大規模生産データセットを用いて,両手法をオフラインで評価する。

関連論文リスト

• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• Understanding and Scaling Collaborative Filtering Optimization from the Perspective of Matrix Rank [48.02330727538905]
  協調フィルタリング(CF)手法は現実世界のレコメンデーションシステムを支配している。 本研究では,異なる学習戦略下での埋め込みテーブルの特性について検討する。 ユーザの安定なランクとアイテムの埋め込みを規則化する,効率的なウォームスタート戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T21:54:13Z)
• Enhancing Cross-Category Learning in Recommendation Systems with Multi-Layer Embedding Training [2.4862527485819186]
  多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。 MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。 モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
  論文  参考訳（メタデータ） (2023-09-27T09:32:10Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
  マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。 本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。