論文の概要: LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation

• arxiv url: http://arxiv.org/abs/2601.20083v1
• Date: Tue, 27 Jan 2026 21:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.67737
• Title: LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
• Title（参考訳）: LLaTTE:大規模広告推薦におけるマルチステージシーケンスモデリングのスケーリング法則
• Abstract要約: プロダクション広告レコメンデーションのためのスケーラブルなトランスフォーマーアーキテクチャであるLLaTTEを提案する。 推薦システムにおけるシーケンスモデリングは,LLMと同様の予測可能なパワーロースケーリングに従うことを実証する。 セマンティックな特徴がスケーリング曲線を曲げることで、より深く長いアーキテクチャのキャパシティを効果的に活用できることが分かりました。
• 参考スコア（独自算出の注目度）: 9.59487558742976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present LLaTTE (LLM-Style Latent Transformers for Temporal Events), a scalable transformer architecture for production ads recommendation. Through systematic experiments, we demonstrate that sequence modeling in recommendation systems follows predictable power-law scaling similar to LLMs. Crucially, we find that semantic features bend the scaling curve: they are a prerequisite for scaling, enabling the model to effectively utilize the capacity of deeper and longer architectures. To realize the benefits of continued scaling under strict latency constraints, we introduce a two-stage architecture that offloads the heavy computation of large, long-context models to an asynchronous upstream user model. We demonstrate that upstream improvements transfer predictably to downstream ranking tasks. Deployed as the largest user model at Meta, this multi-stage framework drives a 4.3\% conversion uplift on Facebook Feed and Reels with minimal serving overhead, establishing a practical blueprint for harnessing scaling laws in industrial recommender systems.
• Abstract（参考訳）: 本稿では,LLaTTE(LLM-Style Latent Transformers for Temporal Events)を提案する。 系統的な実験により,レコメンデーションシステムにおけるシーケンスモデリングはLLMと同様の予測可能なパワーロースケーリングに従うことを示した。 重要なことに、セマンティックな機能はスケーリング曲線を曲げている。それらはスケーリングの前提条件であり、モデルがより深く長いアーキテクチャのキャパシティを効果的に活用できるようにする。 厳密なレイテンシ制約下での継続的なスケーリングのメリットを実現するために,大規模な長期コンテキストモデルの重い計算を非同期上流ユーザモデルにオフロードする2段階アーキテクチャを導入する。 アップストリーム改善がダウンストリームランキングタスクに予測可能転送されることを実証する。 Metaで最大のユーザモデルとしてデプロイされたこのマルチステージフレームワークは、Facebook FeedとReelsで4.3\%のコンバージョンアップを最小限のオーバーヘッドで実行し、産業レコメンデーションシステムにおけるスケーリング法則を活用する実用的な青写真を確立する。

関連論文リスト

• Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
  大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。 我々はGated Delta Networkのスケーリングルールを導出する。 言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
  論文  参考訳（メタデータ） (2026-06-02T08:45:24Z)
• Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
  線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。 近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。 本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-16T22:21:27Z)
• MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders [11.566232697512879]
  MixFormerは、レコメンデーションシステム用に設計されたTransformerスタイルの統一アーキテクチャである。 単一のバックボーン内でのシーケンシャルな振る舞いと特徴的相互作用を共同でモデル化する。 大規模産業データセットの実験は、MixFormerが常に優れた精度と効率を示すことを示した。
  論文  参考訳（メタデータ） (2026-02-15T11:53:30Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity [22.40851170527]
  スケーリング法則は、大規模言語モデルの成功において中心的な役割を果たす。 xLSTMのような最近の選択肢は、コンテキスト長に関する線形複雑性を提供する。 xLSTMの利点は、トレーニングと推論のコンテキストが大きくなるにつれて拡大します。
  論文  参考訳（メタデータ） (2025-10-02T17:14:34Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• MTGR: Industrial-Scale Generative Recommendation Framework in Meituan [32.12374665716164]
  この問題に対処するためにMTGR(Meituan Generative Recommendation)を提案する。 MTGRはユーザレベルの圧縮によってトレーニングと推論の高速化を実現し、効率的なスケーリングを実現する。 この突破口は世界最大のフードデリバリープラットフォームであるMeituanに配備された。
  論文  参考訳（メタデータ） (2025-05-24T11:47:28Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders [23.70714095931094]
  GPU効率の良いリコメンダのための長時間最適化されたtraNsformer。 オフラインのメトリクスとオンラインのA/Bテストでは、一貫して強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-07T13:54:26Z)
• Climber: Toward Efficient Scaling Laws for Large Recommendation Models [8.970144942471425]
  Climberは2つの相乗的コンポーネントからなる効率的なレコメンデーションフレームワークである。 提案モデルでは,(1)一定因子による時間的複雑性の低減を実現し,シーケンス長によるより効率的なスケーリングを実現するマルチスケールシーケンス抽出,(2)マルチシナリオパターンとマルチビヘイビアパターンに注意分布を適応させる動的温度変調,の2つのコアイノベーションを採用している。 Climberは、中国最大の音楽ストリーミングプラットフォームであるNetease Cloud Musicに、毎日数千万人のユーザーにサービスを提供している。
  論文  参考訳（メタデータ） (2025-02-14T03:25:09Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
  MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-01T07:27:20Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Towards Neural Scaling Laws for Time Series Foundation Models [63.5211738245487]
  我々は、エンコーダオンリーとデコーダオンリーのトランスフォーマーの2つの一般的なTSFMアーキテクチャについて検討し、IDおよびOODデータのスケーリング挙動について検討する。 実験の結果,TSFMのログライクな損失はOODとID設定の両方で同様のスケーリング挙動を示すことがわかった。 モデル機能を強化した大規模TSFMの設計とスケーリングのための実用的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-10-16T08:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。