論文の概要: SparseLift: Automatically Optimizing Opaque Sparse Paths in Industrial-Scale Recommendation Model Training
- arxiv url: http://arxiv.org/abs/2611.01702v1
- Date: Sun, 01 Nov 2026 08:37:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 15:16:55.366389
- Title: SparseLift: Automatically Optimizing Opaque Sparse Paths in Industrial-Scale Recommendation Model Training
- Title（参考訳）: SparseLift:産業用推薦モデルトレーニングにおける光学的スパースパスの自動最適化
- Abstract要約: SparseLiftは、大規模なレコメンデーショントレーニングのスパースパスのための低オーバーヘッドコンパイラである。
スパース計算と通信を全体グラフ解析に公開する。
通常の工業訓練段階の定常的なスループットを16.5%向上させる。
- 参考スコア（独自算出の注目度）: 30.63837271535799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sparse path, comprising sparse operations and collective communication, is a critical component of large-scale recommendation models. However, these operations are often represented as opaque nodes in the training computation graph, hindering whole-graph optimization. We present SparseLift, a low-overhead compiler for the sparse path of large-scale recommendation training. It exposes sparse computation and communication to whole-graph analysis to expand the optimization space and improve training efficiency. By analyzing model structure and runtime information, SparseLift reconstructs opaque nodes as analyzable subgraphs, recovering the resource semantics of sparse computation and communication within the graph. Building on the recovered semantics, we design incremental cost models and a constraint-aware planner to automatically select and organize subgraph optimizations into an execution plan that is reused during subsequent steady-state training. We evaluate SparseLift on an industrial video-platform recommendation task with 100B sparse parameters and the public DLRM benchmark. SparseLift improves steady-state throughput for ordinary industrial training steps by 16.5\% over the native baseline. On DLRM, it achieves $1.60\times$ and $1.26\times$ model-execution speedups over DLRM-Baseline and TorchRec, respectively.
- Abstract（参考訳）: スパース・パス(スパース・パス)はスパース・オペレーションと集団コミュニケーションから構成され、大規模レコメンデーション・モデルにおいて重要な要素である。
しかし、これらの演算はしばしばトレーニング計算グラフの不透明なノードとして表現され、グラフ全体の最適化を妨げる。
本稿では,大規模レコメンデーショントレーニングのスパースパスのための低オーバーヘッドコンパイラであるSparseLiftを紹介する。
スパース計算と通信をグラフ解析に公開し、最適化空間を拡大し、訓練効率を向上させる。
モデル構造と実行時情報を解析することにより、SparseLiftは不透明なノードを解析可能なサブグラフとして再構築し、スパース計算とグラフ内の通信のリソースセマンティクスを回復する。
回復したセマンティクスに基づいて、インクリメンタルなコストモデルと制約を意識したプランナを設計し、サブグラフの最適化を自動的に選択・整理し、次の定常訓練中に再利用する実行計画を作成する。
我々は,100BスパースパラメータとDLRMベンチマークを用いた産業用ビデオプラットフォームレコメンデーションタスクSparseLiftの評価を行った。
SparseLiftは、通常の工業訓練段階の定常的なスループットをネイティブベースラインで16.5\%向上させる。
DLRMでは、DLRM-BaselineとTorchRecでそれぞれ1.60\times$と1.26\times$モデル実行スピードアップを達成する。
関連論文リスト
- Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph [17.030746750590758]
ロールアウトランキングによって誘導される有向非巡回選好グラフを演算するDPOの原理的一般化を提案する。
GraphDPOはエッジとして支配関係を符号化し、グラフ構造化されたPlackett--Luce-インスパイアされた目的を最適化する。
推論とプログラムタスクの実験は優れた性能を示し、グラフ構造化された嗜好モデリングは、ペアワイドおよびリストワイドのアライメント目的に対するスケーラブルで堅牢な代替手段であることを示している。
論文 参考訳（メタデータ） (2026-05-08T17:26:14Z) - Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。
SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。
SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-01-19T08:10:53Z) - Lighter-X: An Efficient and Plug-and-play Strategy for Graph-based Recommendation through Decoupled Propagation [49.865020394064096]
我々は,既存のGNNベースのレコメンデータアーキテクチャとシームレスに統合可能な,効率的かつモジュール化されたフレームワークである textbfLighter-X を提案する。
提案手法は,基本モデルの理論的保証と経験的性能を保ちながら,パラメータサイズと計算複雑性を大幅に低減する。
実験の結果、Lighter-Xはパラメータが大幅に少ないベースラインモデルに匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-11T08:33:08Z) - NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。
我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。
提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
論文 参考訳（メタデータ） (2025-05-28T20:43:10Z) - Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。
textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。
SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
論文 参考訳（メタデータ） (2025-05-22T14:11:34Z) - MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Optimizing Large Model Training through Overlapped Activation Recomputation [24.28543166026873]
我々は、トレーニングパイプラインにおける通信と重複する再計算によってオーバーヘッドを削減する新しい再計算フレームワークであるLynxを紹介する。
1.3B-23Bパラメータを持つGPTモデルによる包括的評価の結果,Lynxは既存の再計算手法よりも1.37倍高い性能を示した。
論文 参考訳（メタデータ） (2024-06-13T02:31:36Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。