論文の概要: Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment

• arxiv url: http://arxiv.org/abs/2508.02929v2
• Date: Wed, 06 Aug 2025 18:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 11:49:27.096377
• Title: Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
• Title（参考訳）: Recommenderシステムにおけるスケーリング法則の実現 - ハイパースケールモデル展開のための基礎的パラダイム
• Authors: Dai Li, Kevin Course, Wei Li, Hongwei Li, Jie Hua, Yiqi Chen, Zhao Zhu, Rui Jian, Xuan Cao, Bi Xue, Yu Shi, Jing Qian, Kai Ren, Matt Ma, Qunshu Zhang, Rui Li,
• Abstract要約: 本稿では,超大規模レコメンデーションFMの開発と展開を目的としたフレームワークを提案する。 提案手法では, 生涯にわたる, クロスサイト, マルチモーダルなユーザデータに基づいて, 一般化可能な知識を学習する。 この知識は、ターゲット認識の埋め込みを通じて、様々な軽量で表面特異的な「専門家」モデルに効率的に伝達される。
• 参考スコア（独自算出の注目度）: 16.883389041355073
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While scaling laws promise significant performance gains for recommender systems, efficiently deploying hyperscale models remains a major unsolved challenge. In contrast to fields where FMs are already widely adopted such as natural language processing and computer vision, progress in recommender systems is hindered by unique challenges including the need to learn from online streaming data under shifting data distributions, the need to adapt to different recommendation surfaces with a wide diversity in their downstream tasks and their input distributions, and stringent latency and computational constraints. To bridge this gap, we propose to leverage the Foundation-Expert Paradigm: a framework designed for the development and deployment of hyperscale recommendation FMs. In our approach, a central FM is trained on lifelong, cross-surface, multi-modal user data to learn generalizable knowledge. This knowledge is then efficiently transferred to various lightweight, surface-specific "expert" models via target-aware embeddings, allowing them to adapt to local data distributions and optimization goals with minimal overhead. To meet our training, inference and development needs, we built HyperCast, a production-grade infrastructure system that re-engineers training, serving, logging and iteration to power this decoupled paradigm. Our approach is now deployed at Meta serving tens of billions of user requests daily, demonstrating online metric improvements over our previous one-stage production system while improving developer velocity and maintaining infrastructure efficiency. To the best of our knowledge, this work represents the first successful deployment of a Foundation-Expert paradigm at this scale, offering a proven, compute-efficient, and developer-friendly blueprint to realize the promise of scaling laws in recommender systems.
• Abstract（参考訳）: スケーリング法則はレコメンデーションシステムの大幅なパフォーマンス向上を約束するが、ハイパースケールモデルを効率的にデプロイすることは大きな未解決課題である。 自然言語処理やコンピュータビジョンなど、すでにFMが広く採用されている分野とは対照的に、データ分散の変化の下でオンラインストリーミングデータから学習する必要性、下流タスクと入力分布に幅広い多様性を持つ異なるレコメンデーションサーフェスへの適応の必要性、待ち時間と計算制約など、レコメンデーションシステムの進歩は、ユニークな課題によって妨げられている。 このギャップを埋めるために、我々は、超大規模レコメンデーションFMの開発とデプロイ用に設計されたフレームワークであるFoundation-Expert Paradigmを活用することを提案する。 提案手法では, 生涯にわたる, クロスサイト, マルチモーダルなユーザデータに基づいて, 一般化可能な知識を学習する。 この知識は、ターゲット認識の埋め込みを通じて、様々な軽量で表面特異的な「エキスパート」モデルに効率的に転送され、最小限のオーバーヘッドで、ローカルなデータ分散と最適化の目標に適応できる。 トレーニング、推論、開発のニーズを満たすために、私たちは、この分離されたパラダイムを支えるためにトレーニング、サービス、ロギング、イテレーションを再設計する、プロダクショングレードのインフラストラクチャシステムであるHyperCastを開発しました。 当社のアプローチは現在,Metaで毎日数千億件のユーザリクエストを処理しています。これまでの1段階の運用システムに対して,オンラインメトリックの改善を実証するとともに,開発者のベロシティの向上とインフラストラクチャ効率の維持を実現しています。 私たちの知る限り、この研究はFoundation-Expertパラダイムをこの規模で展開した最初の成功例であり、推奨システムにおける法則のスケーリングの約束を実現するための、証明された、計算効率のよい、開発者フレンドリな青写真を提供しています。

関連論文リスト

• FedPromo: Federated Lightweight Proxy Models at the Edge Bring New Domains to Foundation Models [16.83959862897466]
  Federated Learning(FL)は、分散データ上でディープラーニングモデルをトレーニングするための確立したパラダイムである。 我々はFedPromoを紹介した。FedPromoは、中央サーバに格納された大規模基盤モデルの、リモートクライアントのみにのみ遭遇する新しいドメインへの効率的な適応を可能にする新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-08-05T12:00:49Z)
• MTGR: Industrial-Scale Generative Recommendation Framework in Meituan [28.92150571719811]
  この問題に対処するためにMTGR(Meituan Generative Recommendation)を提案する。 MTGRはユーザレベルの圧縮によってトレーニングと推論の高速化を実現し、効率的なスケーリングを実現する。 この突破口は世界最大のフードデリバリープラットフォームであるMeituanに配備された。
  論文  参考訳（メタデータ） (2025-05-24T11:47:28Z)
• External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation [58.49335224405165]
  広告推薦はオンライン広告システムの顕著なサービスであり、積極的に研究されている。 近年の研究では、レコメンデーションモデルのスケールアップと高度な設計が、大幅な性能向上をもたらすことが示されている。 しかし、モデルスケールが大きくなるにつれて、従来の研究は産業規模での2つの基本的な課題を無視することが多いため、産業とのギャップが著しく増大する。
  論文  参考訳（メタデータ） (2025-02-20T22:35:52Z)
• DRL-based Dolph-Tschebyscheff Beamforming in Downlink Transmission for Mobile Users [52.9870460238443]
  学習可能なDolph-Tschebyscheffアンテナアレイを用いた深部強化学習に基づくブラインドビームフォーミング手法を提案する。 シミュレーションの結果,提案手法は最良値に非常に近いデータレートをサポートできることが示唆された。
  論文  参考訳（メタデータ） (2025-02-03T11:50:43Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。