論文の概要: Bending the Scaling Law Curve in Large-Scale Recommendation Systems

• arxiv url: http://arxiv.org/abs/2602.16986v1
• Date: Thu, 19 Feb 2026 01:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.58908
• Title: Bending the Scaling Law Curve in Large-Scale Recommendation Systems
• Title（参考訳）: 大規模レコメンデーションシステムにおけるスケーリング法曲線の曲げ
• Authors: Qin Ding, Kevin Course, Linjian Ma, Jianhui Sun, Rouchen Liu, Zhao Zhu, Chunxing Yin, Wei Li, Dai Li, Yu Shi, Xuan Cao, Ze Yang, Han Li, Xing Liu, Bi Xue, Hongwei Li, Rui Jian, Daisy Shi He, Jing Qian, Matt Ma, Qunshu Zhang, Rui Li,
• Abstract要約: 提案するULTRA-HSTUは,エンド・ツー・エンド・エンド・モデルとシステム共同設計によって開発された新しいシーケンシャル・レコメンデーション・モデルである。 私たちのソリューションは大規模にデプロイされており、毎日数十億のユーザにサービスを提供しています。
• 参考スコア（独自算出の注目度）: 24.597182618513003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from user interaction history through sequential models has become a cornerstone of large-scale recommender systems. Recent advances in large language models have revealed promising scaling laws, sparking a surge of research into long-sequence modeling and deeper architectures for recommendation tasks. However, many recent approaches rely heavily on cross-attention mechanisms to address the quadratic computational bottleneck in sequential modeling, which can limit the representational power gained from self-attention. We present ULTRA-HSTU, a novel sequential recommendation model developed through end-to-end model and system co-design. By innovating in the design of input sequences, sparse attention mechanisms, and model topology, ULTRA-HSTU achieves substantial improvements in both model quality and efficiency. Comprehensive benchmarking demonstrates that ULTRA-HSTU achieves remarkable scaling efficiency gains -- over 5x faster training scaling and 21x faster inference scaling compared to conventional models -- while delivering superior recommendation quality. Our solution is fully deployed at scale, serving billions of users daily and driving significant 4% to 8% consumption and engagement improvements in real-world production environments.
• Abstract（参考訳）: ユーザインタラクション履歴からシーケンシャルモデルを通じて学ぶことは、大規模レコメンデーションシステムの基盤となっている。 大規模言語モデルの最近の進歩は、有望なスケーリング法則を明らかにし、長いシーケンスモデリングとレコメンデーションタスクのためのより深いアーキテクチャの研究が急増した。 しかし、近年の多くのアプローチは、シーケンシャルモデリングにおける2次計算ボトルネックに対処するクロスアテンション機構に大きく依存しており、自己アテンションから得られる表現力を制限することができる。 提案するULTRA-HSTUは,エンド・ツー・エンド・エンド・モデルとシステム共同設計によって開発された新しいシーケンシャル・レコメンデーション・モデルである。 入力シーケンス、スパースアテンション機構、モデルトポロジーの設計を革新することにより、ULTRA-HSTUはモデル品質と効率の両方で大幅に改善される。 総合的なベンチマークでは、ULTRA-HSTUは、従来のモデルに比べて5倍以上高速なトレーニングスケーリングと21倍高速な推論スケーリングを実現し、優れたレコメンデーション品質を提供する。 私たちのソリューションは大規模にデプロイされており、毎日数十億のユーザにサービスを提供しています。

関連論文リスト

• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• Model Merging in Pre-training of Large Language Models [39.413435498849445]
  本稿では,事前学習過程におけるモデルマージ手法について包括的に検討する。 一定の学習率で訓練されたチェックポイントをマージすることで、大幅な性能向上が達成できることを示す。 我々は、効果的なモデルマージのための実践的な事前トレーニングガイドラインをオープンソースコミュニティに提供する。
  論文  参考訳（メタデータ） (2025-05-17T16:53:14Z)
• Leveraging Reasoning Model Answers to Enhance Non-Reasoning Model Capability [16.441081996257576]
  我々は、推論集約モデルを利用して、計算負荷の少ない非推論モデルを改善することを提案する。 我々は、様々なベンチマークで一貫した改善を示し、モデルが直接質問に答える能力を向上するこのアプローチの可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-13T16:26:56Z)
• Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
  MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-01T07:27:20Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Big-model Driven Few-shot Continual Learning [24.392821997721295]
  本稿では,B-FSCL(Big-model driven Few-shot Continual Learning)フレームワークを提案する。 提案したB-FSCLの3つの一般的なデータセットに対する実験結果が,最先端のFSCL手法を全面的に上回った。
  論文  参考訳（メタデータ） (2023-09-02T08:39:46Z)
• TransNormerLLM: A Faster and Better Large Language Model with Improved TransNormer [34.790081960470964]
  最初の線形注意に基づくLarge Language Model(LLM)であるTransNormerLLMを提案する。 我々は, 位置埋め込み, 線形注意加速度, ゲーティング機構, テンソル正規化, 推論加速度, 安定化など, 高度な修正を行う。 自己収集コーパス上に385M, 1B, 7Bの大きさの列車モデルとアブリケーションを用いてモデル設計を検証する。
  論文  参考訳（メタデータ） (2023-07-27T16:45:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。