論文の概要: Data Efficiency for Large Recommendation Models

• arxiv url: http://arxiv.org/abs/2410.18111v1
• Date: Tue, 08 Oct 2024 22:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:40:24.102815
• Title: Data Efficiency for Large Recommendation Models
• Title（参考訳）: 大規模レコメンデーションモデルのためのデータ効率
• Authors: Kshitij Jain, Jingru Xie, Kevin Regan, Cheng Chen, Jie Han, Steve Li, Zhuoshu Li, Todd Phillips, Myles Sussman, Matt Troup, Angel Yu, Jia Zhuo,
• Abstract要約: 大規模なレコメンデーションモデル(LRMs)は、数十億ドル規模のオンライン広告業界にとって基本である。 膨大なデータのスケールは、計算コストと新しい手法を評価できる速度の両方に直接的な影響を及ぼす。 本稿では,データ要件を最適化する実践者を支援するための実行可能な原則と高レベルフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.799343040337817
• License:
• Abstract: Large recommendation models (LRMs) are fundamental to the multi-billion dollar online advertising industry, processing massive datasets of hundreds of billions of examples before transitioning to continuous online training to adapt to rapidly changing user behavior. The massive scale of data directly impacts both computational costs and the speed at which new methods can be evaluated (R&D velocity). This paper presents actionable principles and high-level frameworks to guide practitioners in optimizing training data requirements. These strategies have been successfully deployed in Google's largest Ads CTR prediction models and are broadly applicable beyond LRMs. We outline the concept of data convergence, describe methods to accelerate this convergence, and finally, detail how to optimally balance training data volume with model size.
• Abstract（参考訳）: 大規模なレコメンデーションモデル(LRM)は、数十億ドル規模のオンライン広告業界の基本であり、数十億のサンプルの膨大なデータセットを処理し、継続的なオンライントレーニングに移行して、急速に変化するユーザの行動に適応する。 データの大規模化は、計算コストと新しい手法を評価できる速度(R&D速度)の両方に直接的な影響を与える。 本稿では,データ要件を最適化する実践者を支援するための実行可能な原則と高レベルフレームワークを提案する。 これらの戦略は、Googleの最大のAds CTR予測モデルにうまくデプロイされ、LRMを越えて広く適用されている。 データ収束の概念を概説し、この収束を加速する手法を説明し、最後に、トレーニングデータボリュームとモデルサイズを最適にバランスさせる方法について詳述する。

関連論文リスト

• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
  本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。 我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Predicting the Skies: A Novel Model for Flight-Level Passenger Traffic Forecasting [0.0]
  本研究では,飛行レベルの旅客輸送を予測するための新しい多モード深層学習手法を提案する。 本モデルでは, フライト毎に, 過去の交通情報, 運賃情報, 季節特性を収集する。 従来のベンチマークと比較すると,平均二乗誤差はおよそ33%改善した。
  論文  参考訳（メタデータ） (2024-01-07T06:51:26Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Data Augmentation Strategies for Improving Sequential Recommender Systems [7.986899327513767]
  逐次リコメンデータシステムは近年,深層学習(DL)に基づく手法の活用により,大幅な性能向上を実現している。 本稿では,データ拡張戦略のセットを提案する。これらすべては,元の項目列を直接汚職の方法で変換するものである。 最新のDLベースのモデルの実験では、データ拡張の適用がモデルをより一般化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-26T09:58:14Z)
• Learning Distributionally Robust Models at Scale via Composite Optimization [45.47760229170775]
  DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。 また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
  論文  参考訳（メタデータ） (2022-03-17T20:47:42Z)
• On Effective Scheduling of Model-based Reinforcement Learning [53.027698625496015]
  実データ比率を自動的にスケジュールするAutoMBPOというフレームワークを提案する。 本稿ではまず,政策訓練における実データの役割を理論的に分析し,実際のデータの比率を徐々に高めれば,より優れた性能が得られることを示唆する。
  論文  参考訳（メタデータ） (2021-11-16T15:24:59Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。