論文の概要: Scaling New Frontiers: Insights into Large Recommendation Models

• arxiv url: http://arxiv.org/abs/2412.00714v1
• Date: Sun, 01 Dec 2024 07:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:40:22.054543
• Title: Scaling New Frontiers: Insights into Large Recommendation Models
• Title（参考訳）: 新しいフロンティアのスケーリング:大規模推奨モデルへの視点
• Authors: Wei Guo, Hao Wang, Luankang Zhang, Jin Yao Chin, Zhongzhou Liu, Kai Cheng, Qiushi Pan, Yi Quan Lee, Wanqi Xue, Tingjia Shen, Kenan Song, Kefan Wang, Wenjia Xie, Yuyang Ye, Huifeng Guo, Yong Liu, Defu Lian, Ruiming Tang, Enhong Chen,
• Abstract要約: MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 74.77410470984168
• License:
• Abstract: Recommendation systems are essential for filtering data and retrieving relevant information across various applications. Recent advancements have seen these systems incorporate increasingly large embedding tables, scaling up to tens of terabytes for industrial use. However, the expansion of network parameters in traditional recommendation models has plateaued at tens of millions, limiting further benefits from increased embedding parameters. Inspired by the success of large language models (LLMs), a new approach has emerged that scales network parameters using innovative structures, enabling continued performance improvements. A significant development in this area is Meta's generative recommendation model HSTU, which illustrates the scaling laws of recommendation systems by expanding parameters to thousands of billions. This new paradigm has achieved substantial performance gains in online experiments. In this paper, we aim to enhance the understanding of scaling laws by conducting comprehensive evaluations of large recommendation models. Firstly, we investigate the scaling laws across different backbone architectures of the large recommendation models. Secondly, we conduct comprehensive ablation studies to explore the origins of these scaling laws. We then further assess the performance of HSTU, as the representative of large recommendation models, on complex user behavior modeling tasks to evaluate its applicability. Notably, we also analyze its effectiveness in ranking tasks for the first time. Finally, we offer insights into future directions for large recommendation models. Supplementary materials for our research are available on GitHub at https://github.com/USTC-StarTeam/Large-Recommendation-Models.
• Abstract（参考訳）: 推薦システムは、データをフィルタリングし、様々なアプリケーションにまたがる関連情報を検索するために不可欠である。 近年、これらのシステムはますます大きな埋め込みテーブルを組み込んでおり、工業用には数十テラバイトまでスケールアップしている。 しかし、従来のレコメンデーションモデルにおけるネットワークパラメータの拡張は数千万に留まり、埋め込みパラメータの増加によるさらなるメリットが制限されている。 大きな言語モデル(LLM)の成功に触発された新しいアプローチは、革新的な構造を使ってネットワークパラメータをスケールし、継続的なパフォーマンス改善を可能にする。 この領域で重要な発展はMetaのジェネレーティブレコメンデーションモデルHSTUであり、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を示す。 この新たなパラダイムは、オンライン実験でかなりのパフォーマンス向上を達成した。 本稿では,大規模レコメンデーションモデルの包括的な評価を行うことにより,スケーリング法則の理解を深めることを目的とする。 まず,大規模レコメンデーションモデルのバックボーンアーキテクチャのスケーリング法則について検討する。 第2に,これらのスケーリング法則の起源を探るため,包括的アブレーション研究を行っている。 そこで我々は,HSTUを大規模レコメンデーションモデルとして,複雑なユーザ行動モデリングタスクの性能評価を行い,その適用性を評価する。 とくに、ランキングタスクにおけるその効果を初めて分析する。 最後に、大規模なレコメンデーションモデルの今後の方向性についての洞察を提供する。 私たちの研究の補助資料はGitHubでhttps://github.com/USTC-StarTeam/Large-Recommendation-Models.comで公開されている。

関連論文リスト

• Generative Large Recommendation Models: Emerging Trends in LLMs for Recommendation [85.52251362906418]
  このチュートリアルでは、大規模言語モデル(LLM)を統合するための2つの主要なアプローチを探求する。 これは、最近の進歩、課題、潜在的研究の方向性を含む、生成的な大規模なレコメンデーションモデルの包括的な概要を提供する。 主なトピックは、データ品質、スケーリング法則、ユーザの行動マイニング、トレーニングと推論の効率性である。
  論文  参考訳（メタデータ） (2025-02-19T14:48:25Z)
• Scaling Sequential Recommendation Models with Transformers [0.0]
  我々は、大規模言語モデルのトレーニングで観察されるスケーリング法則からインスピレーションを得て、シーケンシャルなレコメンデーションのために同様の原則を探求する。 計算最適トレーニングは可能だが、アプリケーション固有の計算性能トレードオフを慎重に分析する必要がある。 また、より小さなタスク固有のドメイン上で、より大規模なトレーニング済みモデルを微調整することで、パフォーマンスのスケーリングがダウンストリームタスクに変換されることを示す。
  論文  参考訳（メタデータ） (2024-12-10T15:20:56Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations [11.198481792194452]
  大規模なレコメンデーションシステムは、毎日数千億のユーザーアクションを扱う必要がある。 何千もの機能を備えた大量のデータでトレーニングされているにも関わらず、業界におけるほとんどのDeep Learning Recommendation Model(DLRM)は、計算処理ではスケールできない。 言語および視覚領域におけるトランスフォーマーの成功に触発され、推奨システムの基本設計選択を再考する。
  論文  参考訳（メタデータ） (2024-02-27T02:37:37Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• A Survey on Neural Recommendation: From Collaborative Filtering to Content and Context Enriched Recommendation [70.69134448863483]
  レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。 近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
  論文  参考訳（メタデータ） (2021-04-27T08:03:52Z)
• Self-supervised Learning for Large-scale Item Recommendations [18.19202958502061]
  大規模なレコメンデータモデルは、巨大なカタログから最も関連性の高いアイテムを見つけ出す。 コーパスには何百万から数十億ものアイテムがあり、ユーザーはごく少数のユーザーに対してフィードバックを提供する傾向にある。 大規模項目推薦のためのマルチタスク自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T06:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。