論文の概要: Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
- arxiv url: http://arxiv.org/abs/2605.29755v2
- Date: Fri, 29 May 2026 07:46:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 13:54:21.10317
- Title: Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
- Title（参考訳）: Rec-Distill:大規模レコメンデーションモデルのための産業用蒸留パイプライン
- Abstract要約: Rec-Distillは産業用蒸留パイプラインであり、大規模レコメンデーションモデルの性能向上を効率的なサービスモデルに転送する。
筆者らのフレームワークは,24Bの高密度パラメータと20Kの行動列長を教師モデルに拡張し,軽量な生徒が教師の獲得したかなりの部分を回復することを可能にする。
- 参考スコア（独自算出の注目度）: 30.326353442285548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large recommendation models have demonstrated substantial potential gains under scaling laws, yet these gains are difficult to realize in industrial recommendation systems because real-world deployment requires lightweight models with strict serving efficiency and latency guarantees. This creates a fundamental gap between offline model scaling and online deployment. In this work, we present Rec-Distill, an industrial distillation pipeline that transfers the performance gains of large-scale recommendation modeling to efficient serving models. Rec-Distill combines large-teacher scaling with student-side transfer optimization through decoupled training, black-box distillation, debiasing mechanism, and a hybrid batch-streaming pipeline for dynamic recommendation environments. Across multiple recommendation and advertising scenarios on real-world platforms, our framework scales teacher models up to 24B dense parameters and 20K behavior sequence length, while enabling lightweight students to recover a substantial portion of teacher gains, with distillation transferability exceeding 60% in the best setting. Extensive offline and online experiments further show that these transferred gains consistently translate into measurable business improvements under industrial constraints. These results demonstrate that Rec-Distill provides a practical framework for distilling large-scale recommendation models into deployable, cost-efficient serving systems, while also establishing a reliable path toward scaling recommendation models to even larger regimes in the future.
- Abstract（参考訳）: 大規模レコメンデーションモデルは、スケーリング法の下では大きな可能性を示すが、実際のデプロイメントには厳格なサービス効率と遅延保証を備えた軽量モデルが必要であるため、産業レコメンデーションシステムでは実現が困難である。
これにより、オフラインモデルのスケーリングとオンラインデプロイメントの間には、根本的なギャップが生まれます。
本稿では,大規模レコメンデーションモデルの性能向上を効率的なサービスモデルに伝達する産業用蒸留パイプラインRec-Distillについて述べる。
Rec-Distillは、デカップリングトレーニング、ブラックボックス蒸留、デバイアス機構、動的レコメンデーション環境のためのハイブリッドバッチストリーミングパイプラインを通じて、大規模な教師のスケーリングと学生側の転送最適化を組み合わせる。
実世界のプラットフォーム上での複数のレコメンデーションや広告シナリオにおいて,我々のフレームワークは,教師モデルから24Bの高密度パラメータと20Kの行動シーケンス長までをスケールし,軽量な学生が教師のゲインのかなりの部分を回復し,蒸留トランスファビリティが60%を超えるようにした。
大規模なオフラインおよびオンライン実験は、これらの移行した利益が、産業的制約の下で測定可能なビジネス改善に一貫して変換されることを示している。
これらの結果から、Rec-Distillは大規模レコメンデーションモデルをデプロイ可能でコスト効率の高いサービスシステムに蒸留するための実践的な枠組みを提供するとともに、将来さらに大規模なレコメンデーションモデルに拡張するための信頼性の高い道筋を確立することができる。
関連論文リスト
- SORT: A Systematically Optimized Ranking Transformer for Industrial-scale Recommenders [21.80413275965637]
SORT(Systematically Optimized Ranking Transformer)は、トランスフォーマーと産業規模ランキングモデルのギャップを埋めるために設計されたスケーラブルモデルである。
一連の最適化により,高機能空間と低ラベル密度の課題に対処する。
SORTは、データサイズ、モデルサイズ、シーケンス長にまたがる優れたスケーラビリティを示しながら、多様な機能の統合には柔軟性が保たれています。
論文 参考訳（メタデータ） (2026-03-04T12:32:43Z) - Bending the Scaling Law Curve in Large-Scale Recommendation Systems [25.722146264492096]
提案するULTRA-HSTUは,エンド・ツー・エンド・エンド・モデルとシステム共同設計によって開発された新しいシーケンシャル・レコメンデーション・モデルである。
私たちのソリューションは大規模にデプロイされており、毎日数十億のユーザにサービスを提供しています。
論文 参考訳（メタデータ） (2026-02-19T01:15:17Z) - AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。
大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
論文 参考訳（メタデータ） (2025-09-28T08:05:13Z) - Scaling Transformers for Discriminative Recommendation via Generative Pretraining [15.796591192359044]
オーバーフィット問題に対処するため,GPSD (textbfGenerative textbfPretraining for textbfScalable textbfDiscriminative Recommendation) というフレームワークを提案する。
産業規模のデータセットと一般公開データセットの両方で実施された大規模な実験は、GPSDの優れた性能を示している。
論文 参考訳（メタデータ） (2025-06-04T08:31:33Z) - IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining [50.53912352342753]
本稿では,モデルトレーニング,プルーニング,リカバリを併用した拡張・プルンパイプラインを提案する。
我々は2.8Bモデルから1.3Bへのプレトレーニングにおいて最大2Tトークンによる圧縮実験を行った。
これは、拡大されたモデルの事前学習のトークン効率に関する洞察を提供するだけでなく、刈り取られたモデルの優れた性能を達成するための統合されたアプローチを示す。
論文 参考訳（メタデータ） (2025-03-07T20:35:31Z) - External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation [58.49335224405165]
広告推薦はオンライン広告システムの顕著なサービスであり、積極的に研究されている。
近年の研究では、レコメンデーションモデルのスケールアップと高度な設計が、大幅な性能向上をもたらすことが示されている。
しかし、モデルスケールが大きくなるにつれて、従来の研究は産業規模での2つの基本的な課題を無視することが多いため、産業とのギャップが著しく増大する。
論文 参考訳（メタデータ） (2025-02-20T22:35:52Z) - Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。
我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。
大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-12-01T07:27:20Z) - Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳（メタデータ） (2024-09-19T07:05:26Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Alternate Model Growth and Pruning for Efficient Training of
Recommendation Systems [7.415129876303651]
モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。
ビッグデータ処理の需要のため、現代のレコメンデーションシステムはモデルキャパシティにとってまだ渇望的です。
トレーニング中の重量を代替して構築し、調整するためのダイナミックなトレーニングスキーム、すなわち、モデルの成長と刈り取りを提案します。
論文 参考訳（メタデータ） (2021-05-04T03:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。