論文の概要: LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation

• arxiv url: http://arxiv.org/abs/2601.20083v1
• Date: Tue, 27 Jan 2026 21:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.67737
• Title: LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
• Title（参考訳）: LLaTTE:大規模広告推薦におけるマルチステージシーケンスモデリングのスケーリング法則
• Authors: Lee Xiong, Zhirong Chen, Rahul Mayuranath, Shangran Qiu, Arda Ozdemir, Lu Li, Yang Hu, Dave Li, Jingtao Ren, Howard Cheng, Fabian Souto Herrera, Ahmed Agiza, Baruch Epshtein, Anuj Aggarwal, Julia Ulziisaikhan, Chao Wang, Dinesh Ramasamy, Parshva Doshi, Sri Reddy, Arnold Overwijk,
• Abstract要約: プロダクション広告レコメンデーションのためのスケーラブルなトランスフォーマーアーキテクチャであるLLaTTEを提案する。 推薦システムにおけるシーケンスモデリングは,LLMと同様の予測可能なパワーロースケーリングに従うことを実証する。 セマンティックな特徴がスケーリング曲線を曲げることで、より深く長いアーキテクチャのキャパシティを効果的に活用できることが分かりました。
• 参考スコア（独自算出の注目度）: 9.59487558742976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present LLaTTE (LLM-Style Latent Transformers for Temporal Events), a scalable transformer architecture for production ads recommendation. Through systematic experiments, we demonstrate that sequence modeling in recommendation systems follows predictable power-law scaling similar to LLMs. Crucially, we find that semantic features bend the scaling curve: they are a prerequisite for scaling, enabling the model to effectively utilize the capacity of deeper and longer architectures. To realize the benefits of continued scaling under strict latency constraints, we introduce a two-stage architecture that offloads the heavy computation of large, long-context models to an asynchronous upstream user model. We demonstrate that upstream improvements transfer predictably to downstream ranking tasks. Deployed as the largest user model at Meta, this multi-stage framework drives a 4.3\% conversion uplift on Facebook Feed and Reels with minimal serving overhead, establishing a practical blueprint for harnessing scaling laws in industrial recommender systems.
• Abstract（参考訳）: 本稿では,LLaTTE(LLM-Style Latent Transformers for Temporal Events)を提案する。 系統的な実験により,レコメンデーションシステムにおけるシーケンスモデリングはLLMと同様の予測可能なパワーロースケーリングに従うことを示した。 重要なことに、セマンティックな機能はスケーリング曲線を曲げている。それらはスケーリングの前提条件であり、モデルがより深く長いアーキテクチャのキャパシティを効果的に活用できるようにする。 厳密なレイテンシ制約下での継続的なスケーリングのメリットを実現するために,大規模な長期コンテキストモデルの重い計算を非同期上流ユーザモデルにオフロードする2段階アーキテクチャを導入する。 アップストリーム改善がダウンストリームランキングタスクに予測可能転送されることを実証する。 Metaで最大のユーザモデルとしてデプロイされたこのマルチステージフレームワークは、Facebook FeedとReelsで4.3\%のコンバージョンアップを最小限のオーバーヘッドで実行し、産業レコメンデーションシステムにおけるスケーリング法則を活用する実用的な青写真を確立する。

関連論文リスト

• xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity [22.40851170527]
  スケーリング法則は、大規模言語モデルの成功において中心的な役割を果たす。 xLSTMのような最近の選択肢は、コンテキスト長に関する線形複雑性を提供する。 xLSTMの利点は、トレーニングと推論のコンテキストが大きくなるにつれて拡大します。
  論文  参考訳（メタデータ） (2025-10-02T17:14:34Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders [23.70714095931094]
  GPU効率の良いリコメンダのための長時間最適化されたtraNsformer。 オフラインのメトリクスとオンラインのA/Bテストでは、一貫して強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-07T13:54:26Z)
• Climber: Toward Efficient Scaling Laws for Large Recommendation Models [8.970144942471425]
  Climberは2つの相乗的コンポーネントからなる効率的なレコメンデーションフレームワークである。 提案モデルでは,(1)一定因子による時間的複雑性の低減を実現し,シーケンス長によるより効率的なスケーリングを実現するマルチスケールシーケンス抽出,(2)マルチシナリオパターンとマルチビヘイビアパターンに注意分布を適応させる動的温度変調,の2つのコアイノベーションを採用している。 Climberは、中国最大の音楽ストリーミングプラットフォームであるNetease Cloud Musicに、毎日数千万人のユーザーにサービスを提供している。
  論文  参考訳（メタデータ） (2025-02-14T03:25:09Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
  MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-01T07:27:20Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。