論文の概要: Scaling New Frontiers: Insights into Large Recommendation Models

• arxiv url: http://arxiv.org/abs/2412.00714v1
• Date: Sun, 01 Dec 2024 07:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:40:22.054543
• Title: Scaling New Frontiers: Insights into Large Recommendation Models
• Title（参考訳）: 新しいフロンティアのスケーリング:大規模推奨モデルへの視点
• Authors: Wei Guo, Hao Wang, Luankang Zhang, Jin Yao Chin, Zhongzhou Liu, Kai Cheng, Qiushi Pan, Yi Quan Lee, Wanqi Xue, Tingjia Shen, Kenan Song, Kefan Wang, Wenjia Xie, Yuyang Ye, Huifeng Guo, Yong Liu, Defu Lian, Ruiming Tang, Enhong Chen,
• Abstract要約: MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 74.77410470984168
• License:
• Abstract: Recommendation systems are essential for filtering data and retrieving relevant information across various applications. Recent advancements have seen these systems incorporate increasingly large embedding tables, scaling up to tens of terabytes for industrial use. However, the expansion of network parameters in traditional recommendation models has plateaued at tens of millions, limiting further benefits from increased embedding parameters. Inspired by the success of large language models (LLMs), a new approach has emerged that scales network parameters using innovative structures, enabling continued performance improvements. A significant development in this area is Meta's generative recommendation model HSTU, which illustrates the scaling laws of recommendation systems by expanding parameters to thousands of billions. This new paradigm has achieved substantial performance gains in online experiments. In this paper, we aim to enhance the understanding of scaling laws by conducting comprehensive evaluations of large recommendation models. Firstly, we investigate the scaling laws across different backbone architectures of the large recommendation models. Secondly, we conduct comprehensive ablation studies to explore the origins of these scaling laws. We then further assess the performance of HSTU, as the representative of large recommendation models, on complex user behavior modeling tasks to evaluate its applicability. Notably, we also analyze its effectiveness in ranking tasks for the first time. Finally, we offer insights into future directions for large recommendation models. Supplementary materials for our research are available on GitHub at https://github.com/USTC-StarTeam/Large-Recommendation-Models.
• Abstract（参考訳）: 推薦システムは、データをフィルタリングし、様々なアプリケーションにまたがる関連情報を検索するために不可欠である。 近年、これらのシステムはますます大きな埋め込みテーブルを組み込んでおり、工業用には数十テラバイトまでスケールアップしている。 しかし、従来のレコメンデーションモデルにおけるネットワークパラメータの拡張は数千万に留まり、埋め込みパラメータの増加によるさらなるメリットが制限されている。 大きな言語モデル(LLM)の成功に触発された新しいアプローチは、革新的な構造を使ってネットワークパラメータをスケールし、継続的なパフォーマンス改善を可能にする。 この領域で重要な発展はMetaのジェネレーティブレコメンデーションモデルHSTUであり、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を示す。 この新たなパラダイムは、オンライン実験でかなりのパフォーマンス向上を達成した。 本稿では,大規模レコメンデーションモデルの包括的な評価を行うことにより,スケーリング法則の理解を深めることを目的とする。 まず,大規模レコメンデーションモデルのバックボーンアーキテクチャのスケーリング法則について検討する。 第2に,これらのスケーリング法則の起源を探るため,包括的アブレーション研究を行っている。 そこで我々は,HSTUを大規模レコメンデーションモデルとして,複雑なユーザ行動モデリングタスクの性能評価を行い,その適用性を評価する。 とくに、ランキングタスクにおけるその効果を初めて分析する。 最後に、大規模なレコメンデーションモデルの今後の方向性についての洞察を提供する。 私たちの研究の補助資料はGitHubでhttps://github.com/USTC-StarTeam/Large-Recommendation-Models.comで公開されている。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• How do Machine Learning Models Change? [7.543685248926161]
  本研究は,Huging Face (HF) 上の5万モデルから20万件以上のコミットと1200件のリリースを,リポジトリマイニングと縦断解析の両方を用いて調査する。 コミットを分類するためにML変更分類を複製して拡張し、ベイジアンネットワークを使用してコミットとリリースのアクティビティのパターンを時間とともに明らかにします。 その結果,コミット活動はCRISP-DMなどの確立したデータサイエンス方法論と一致し,反復的改善と継続的改善が強調された。 さらに、リリースパターンは重要なアップデート、特にドキュメントにおいて、細かい変更とマイルストーンベースのリリースを区別する傾向があります。
  論文  参考訳（メタデータ） (2024-11-14T18:14:32Z)
• Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations [11.198481792194452]
  大規模なレコメンデーションシステムは、毎日数千億のユーザーアクションを扱う必要がある。 何千もの機能を備えた大量のデータでトレーニングされているにも関わらず、業界におけるほとんどのDeep Learning Recommendation Model(DLRM)は、計算処理ではスケールできない。 言語および視覚領域におけるトランスフォーマーの成功に触発され、推奨システムの基本設計選択を再考する。
  論文  参考訳（メタデータ） (2024-02-27T02:37:37Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Optimizing Audio Recommendations for the Long-Term: A Reinforcement Learning Perspective [11.31980071390936]
  本稿では,産業規模でのポッドキャストレコメンデーションシステムについて紹介する。 機械学習アルゴリズムを短時間のプロキシメトリクスに最適化するという、幅広い業界慣行から逸脱して、システムはA/Bテストの長期的なパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-02-07T16:17:25Z)
• A Survey of Large-Scale Deep Learning Serving System Optimization: Challenges and Opportunities [24.38071862662089]
  サーベイは、大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し、分類することを目的としている。 ディープラーニング(DL)モデルは、ビジョン、言語、医療、商業広告、エンターテイメントなど、多くのアプリケーション領域で優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-11-28T22:14:10Z)
• A Survey on Neural Recommendation: From Collaborative Filtering to Content and Context Enriched Recommendation [70.69134448863483]
  レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。 近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
  論文  参考訳（メタデータ） (2021-04-27T08:03:52Z)
• Self-supervised Learning for Large-scale Item Recommendations [18.19202958502061]
  大規模なレコメンデータモデルは、巨大なカタログから最も関連性の高いアイテムを見つけ出す。 コーパスには何百万から数十億ものアイテムがあり、ユーザーはごく少数のユーザーに対してフィードバックを提供する傾向にある。 大規模項目推薦のためのマルチタスク自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T06:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。