論文の概要: Multi-Faceted Large Embedding Tables for Pinterest Ads Ranking

• arxiv url: http://arxiv.org/abs/2508.05700v1
• Date: Thu, 07 Aug 2025 00:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:05.942498
• Title: Multi-Faceted Large Embedding Tables for Pinterest Ads Ranking
• Title（参考訳）: Pinterest広告ランク付けのための多面的な大型埋め込みテーブル
• Authors: Runze Su, Jiayin Jin, Jiacheng Li, Sihan Wang, Guangtong Bai, Zelun Wang, Li Tang, Yixiong Meng, Huasen Wu, Zhimeng Pan, Kungang Li, Han Sun, Zhifang Liu, Haoyang Li, Siping Ji, Ling Leng, Prathibha Deshikachar,
• Abstract要約: 複数の事前学習アルゴリズムを組み込んだ,複数面事前学習方式を提案する。 このフレームワークはPinterest Adsシステムにデプロイされ、1.34%のオンラインCPC削減と2.60%のCTR向上を達成した。
• 参考スコア（独自算出の注目度）: 19.582000569773133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large embedding tables are indispensable in modern recommendation systems, thanks to their ability to effectively capture and memorize intricate details of interactions among diverse entities. As we explore integrating large embedding tables into Pinterest's ads ranking models, we encountered not only common challenges such as sparsity and scalability, but also several obstacles unique to our context. Notably, our initial attempts to train large embedding tables from scratch resulted in neutral metrics. To tackle this, we introduced a novel multi-faceted pretraining scheme that incorporates multiple pretraining algorithms. This approach greatly enriched the embedding tables and resulted in significant performance improvements. As a result, the multi-faceted large embedding tables bring great performance gain on both the Click-Through Rate (CTR) and Conversion Rate (CVR) domains. Moreover, we designed a CPU-GPU hybrid serving infrastructure to overcome GPU memory limits and elevate the scalability. This framework has been deployed in the Pinterest Ads system and achieved 1.34% online CPC reduction and 2.60% CTR increase with neutral end-to-end latency change.
• Abstract（参考訳）: 大規模な埋め込みテーブルは、多様なエンティティ間の相互作用の複雑な詳細を効果的にキャプチャし記憶する能力のおかげで、現代のレコメンデーションシステムでは不可欠である。 大規模な埋め込みテーブルをPinterestの広告ランキングモデルに統合することを検討する中で、スパシティやスケーラビリティといった一般的な課題だけでなく、私たちのコンテキストに特有のいくつかの障害に直面しました。 特に、大きな埋め込みテーブルをスクラッチからトレーニングする最初の試みは、中立的なメトリクスをもたらしました。 そこで本研究では,複数の事前学習アルゴリズムを組み込んだ複数面事前学習方式を提案する。 このアプローチによって埋め込みテーブルが大幅に強化され、パフォーマンスが大幅に向上した。 その結果、Click-Through Rate (CTR) ドメインと Conversion Rate (CVR) ドメインの両方で、多面的な大きな埋め込みテーブルの性能が向上した。 さらに、GPUメモリの限界を克服し、スケーラビリティを高めるために、CPU-GPUハイブリッドサービスインフラストラクチャを設計した。 このフレームワークはPinterest Adsシステムにデプロイされ、1.34%のオンラインCPC削減と2.60%のCTR増加を達成した。

関連論文リスト

• PRISM: Distributed Inference for Foundation Models at Edge [73.54372283220444]
  PRISMは、エッジデバイス上での分散トランスフォーマー推論のための通信効率と計算アウェア戦略である。 ViT,BERT,GPT-2のPRISMを多種多様なデータセットで評価した。
  論文  参考訳（メタデータ） (2025-07-16T11:25:03Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• The Evolution of Embedding Table Optimization and Multi-Epoch Training in Pinterest Ads Conversion [4.224548289918963]
  変換予測のためのディープラーニングは、オンライン広告に広く応用されている。 これらのモデルは、Click、add-to-cart、checkout、その他の変換タイプなど、複数の目的を共同で予測するように訓練されているため、より複雑になっています。 本稿では、Pinterest Ads Conversionモデルにおいて、埋め込みテーブル最適化とマルチエポックトレーニングの開発から学んだ教訓を共有する。
  論文  参考訳（メタデータ） (2025-05-08T19:18:32Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• Stochastic Communication Avoidance for Recommendation Systems [27.616664288148232]
  本稿では,ルックアップテーブルを用いた任意の分散システムの通信コストを解析する理論的枠組みを提案する。 本稿では,メモリ,計算,通信制約を考慮したスループットを最大化するアルゴリズムを提案する。 フレームワークとアルゴリズムをPyTorchで実装し、ベースラインを越えたGPUシステムのトレーニングスループットを最大6倍に向上します。
  論文  参考訳（メタデータ） (2024-11-03T15:37:37Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Towards Cross-Table Masked Pretraining for Web Data Mining [22.952238405240188]
  本稿では,CM2と呼ばれる,革新的で汎用的で効率的なクロステーブル事前学習フレームワークを提案する。 実験では,CM2の最先端性能を実証し,クロステーブルプレトレーニングが様々なダウンストリームタスクを向上させることを実証した。
  論文  参考訳（メタデータ） (2023-07-10T02:27:38Z)
• Exploit the potential of Multi-column architecture for Crowd Counting [16.186589975116387]
  ピラミッドスケールネットワーク(PSNet)と呼ばれる新しい群集カウントフレームワークを提案する。 スケール制限のために、3つのピラミッドスケールモジュール(PSM)を採用し、マルチスケール機能を効率的にキャプチャする。 特徴類似性については,多列分散損失という新しい損失関数を導入し,各列が学習した特徴を適切に相違させる。
  論文  参考訳（メタデータ） (2020-07-11T14:08:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。