論文の概要: Taming the One-Epoch Phenomenon in Online Recommendation System by Two-stage Contrastive ID Pre-training

• arxiv url: http://arxiv.org/abs/2508.18700v1
• Date: Tue, 26 Aug 2025 06:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.695738
• Title: Taming the One-Epoch Phenomenon in Online Recommendation System by Two-stage Contrastive ID Pre-training
• Title（参考訳）: オンラインレコメンデーションシステムにおける2段階コントラストID事前学習によるワンエポック現象のモデル化
• Authors: Yi-Ping Hsu, Po-Wei Wang, Chantat Eksombatchai, Jiajing Xu,
• Abstract要約: 対照的な損失を伴う最小限のモデルを用いて、事前学習フェーズを組み込んだ新しい2段階トレーニング戦略を導入する。 我々のオフライン実験は、事前学習フェーズにおけるマルチエポックトレーニングが過度な適合に繋がらないことを示した。
• 参考スコア（独自算出の注目度）: 1.1549572298362782
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: ID-based embeddings are widely used in web-scale online recommendation systems. However, their susceptibility to overfitting, particularly due to the long-tail nature of data distributions, often limits training to a single epoch, a phenomenon known as the "one-epoch problem." This challenge has driven research efforts to optimize performance within the first epoch by enhancing convergence speed or feature sparsity. In this study, we introduce a novel two-stage training strategy that incorporates a pre-training phase using a minimal model with contrastive loss, enabling broader data coverage for the embedding system. Our offline experiments demonstrate that multi-epoch training during the pre-training phase does not lead to overfitting, and the resulting embeddings improve online generalization when fine-tuned for more complex downstream recommendation tasks. We deployed the proposed system in live traffic at Pinterest, achieving significant site-wide engagement gains.
• Abstract（参考訳）: IDベースの埋め込みは、Webスケールのオンラインレコメンデーションシステムで広く使われている。 しかし、過度に適合する可能性、特にデータ分布の長い尾の性質のため、訓練を1つのエポックに制限することがしばしばあり、これは「1エポック問題」と呼ばれる現象である。 この課題は、収束速度や特徴空間の拡充によって、最初の時代におけるパフォーマンスを最適化する研究を推進した。 本研究では,コントラスト損失の少ない最小限のモデルを用いて,事前学習フェーズを組み込んだ新しい2段階学習戦略を導入し,組込みシステムの広範なデータカバレッジを実現する。 我々のオフライン実験は、事前学習フェーズにおけるマルチエポックトレーニングが過度に適合しないことを示すとともに、より複雑なダウンストリームレコメンデーションタスクのために微調整された場合の埋め込みにより、オンラインの一般化が向上することを示した。 Pinterestのライブトラフィックに提案されたシステムをデプロイし、サイト全体のエンゲージメント向上を実現しました。

関連論文リスト

• A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
  リンク予測(LP)は、グラフ機械学習において重要なタスクである。 既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。 これらの課題に対処するためのソリューションとして,事前学習について検討する。
  論文  参考訳（メタデータ） (2025-08-06T17:10:31Z)
• CUPID: A Real-Time Session-Based Reciprocal Recommendation System for a One-on-One Social Discovery Platform [12.2116664055055]
  CUPIDは、リアルタイム1対1のソーシャルディスカバリプラットフォーム用に設計されたセッションベースの相互レコメンデーションシステムに対する新しいアプローチである。 CUPIDは、リアルタイムユーザマッチングプロセスから時間集約的なユーザーセッションモデリングを分離し、推論時間を短縮する。 CUPIDは非非同期システムに比べて応答遅延を76%以上削減する。
  論文  参考訳（メタデータ） (2024-10-08T05:44:14Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Online Matching: A Real-time Bandit System for Large-scale Recommendations [23.954049092470548]
  Online Matchingは、ユーザのアイテムに対する直接的なフィードバックをリアルタイムで学習する、スケーラブルなクローズドループバンディットシステムである。 Diag-LinUCBはLinUCBアルゴリズムの新たな拡張であり、スケーラブルでタイムリーな方法で帯域幅パラメータの分散更新を可能にする。
  論文  参考訳（メタデータ） (2023-07-29T05:46:27Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。