論文の概要: Data Efficiency for Large Recommendation Models
- arxiv url: http://arxiv.org/abs/2410.18111v1
- Date: Tue, 08 Oct 2024 22:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-27 05:40:24.102815
- Title: Data Efficiency for Large Recommendation Models
- Title（参考訳）: 大規模レコメンデーションモデルのためのデータ効率
- Authors: Kshitij Jain, Jingru Xie, Kevin Regan, Cheng Chen, Jie Han, Steve Li, Zhuoshu Li, Todd Phillips, Myles Sussman, Matt Troup, Angel Yu, Jia Zhuo,
- Abstract要約: 大規模なレコメンデーションモデル(LRMs)は、数十億ドル規模のオンライン広告業界にとって基本である。
膨大なデータのスケールは、計算コストと新しい手法を評価できる速度の両方に直接的な影響を及ぼす。
本稿では,データ要件を最適化する実践者を支援するための実行可能な原則と高レベルフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 4.799343040337817
- License:
- Abstract: Large recommendation models (LRMs) are fundamental to the multi-billion dollar online advertising industry, processing massive datasets of hundreds of billions of examples before transitioning to continuous online training to adapt to rapidly changing user behavior. The massive scale of data directly impacts both computational costs and the speed at which new methods can be evaluated (R&D velocity). This paper presents actionable principles and high-level frameworks to guide practitioners in optimizing training data requirements. These strategies have been successfully deployed in Google's largest Ads CTR prediction models and are broadly applicable beyond LRMs. We outline the concept of data convergence, describe methods to accelerate this convergence, and finally, detail how to optimally balance training data volume with model size.
- Abstract（参考訳）: 大規模なレコメンデーションモデル(LRM)は、数十億ドル規模のオンライン広告業界の基本であり、数十億のサンプルの膨大なデータセットを処理し、継続的なオンライントレーニングに移行して、急速に変化するユーザの行動に適応する。
データの大規模化は、計算コストと新しい手法を評価できる速度(R&D速度)の両方に直接的な影響を与える。
本稿では,データ要件を最適化する実践者を支援するための実行可能な原則と高レベルフレームワークを提案する。
これらの戦略は、Googleの最大のAds CTR予測モデルにうまくデプロイされ、LRMを越えて広く適用されている。
データ収束の概念を概説し、この収束を加速する手法を説明し、最後に、トレーニングデータボリュームとモデルサイズを最適にバランスさせる方法について詳述する。
関連論文リスト
- Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - Enhancing Large Vision Model in Street Scene Semantic Understanding through Leveraging Posterior Optimization Trajectory [29.646749372031593]
バックボーンおよび下流認識ヘッドとしてのLVM(Large Vision Models)は、ADセマンティック情報を理解するために使用される。
後最適化軌道(POT)誘導最適化スキーム(POTGui)は収束を加速する。
実験の結果,提案手法は66.48%以上の性能向上を実現し,6倍の速度で収束することがわかった。
論文 参考訳（メタデータ） (2025-01-03T09:10:56Z) - Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。
データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文 参考訳（メタデータ） (2024-11-30T10:56:30Z) - Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。
ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。
ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
論文 参考訳（メタデータ） (2024-10-15T17:47:44Z) - AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。
我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。
GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
論文 参考訳（メタデータ） (2024-07-29T17:06:30Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳（メタデータ） (2023-11-16T10:42:58Z) - Data Augmentation Strategies for Improving Sequential Recommender
Systems [7.986899327513767]
逐次リコメンデータシステムは近年,深層学習(DL)に基づく手法の活用により,大幅な性能向上を実現している。
本稿では,データ拡張戦略のセットを提案する。これらすべては,元の項目列を直接汚職の方法で変換するものである。
最新のDLベースのモデルの実験では、データ拡張の適用がモデルをより一般化するのに役立ちます。
論文 参考訳（メタデータ） (2022-03-26T09:58:14Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳（メタデータ） (2021-04-07T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。