論文の概要: Optimizing Effective Training Time for Large-Scale Recommendation Systems

• arxiv url: http://arxiv.org/abs/2610.02057v1
• Date: Thu, 01 Oct 2026 17:02:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.317525
• Title: Optimizing Effective Training Time for Large-Scale Recommendation Systems
• Title（参考訳）: 大規模レコメンデーションシステムのための効果的なトレーニング時間を最適化する
• Abstract要約: 私たちの最大の推奨ワークロードは、数千のGPU上で1日に数千億のトレインの例を処理します。 この作業の前には、エンドツーエンドのウォールタイムの50～60%しか新しいデータのトレーニングを行なわなかった。 我々は、このライフサイクルのオーバーヘッドと、フルトレーニングスタックにまたがる最適化のセットについて、フリートスケールで研究する。
• 参考スコア（独自算出の注目度）: 12.448976564666532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifecycle overhead silently consumes accelerator capacity across large-scale recommendation training fleets. Our largest recommendation workloads process tens of billions train- ing examples per day on thousands of GPUs. Before this work, only 50-60% of their end-to-end wall time advanced training on new data. We present a fleet-scale study of this lifecycle overhead and a set of optimizations spanning the full training stack. We use Effective Training Time (ETT%) as an operational framework to instrument lost time, localize it to independently owned infrastructure components, and expose work repeated across job restarts. This analysis guides optimizations like communication elimination and pipeline overlap during trainer initialization; dynamic-shape handling, autotuning pruning, and reusable Py- Torch 2 compilation caches; asynchronous checkpointing; stan- dalone model publishing; and reductions in recovery cost. We evaluate the optimizations on representative models and measure their impacts in our training fleet. ETT% improves on every benchmark, by 15.5% on average, and reaches 85% on our largest workload. Fleet-wide ETT% rose from about 80% to above 90% after deployment.
• Abstract（参考訳）: ライフサイクルのオーバーヘッドは、大規模レコメンデーショントレーニングフリートでアクセラレーション容量を静かに消費する。 私たちの最大の推奨ワークロードは、数千のGPU上で1日に数千億のトレインの例を処理します。 この作業の前には、エンドツーエンドのウォールタイムの50～60%しか新しいデータのトレーニングを行なわなかった。 我々は、このライフサイクルのオーバーヘッドと、フルトレーニングスタックにまたがる最適化のセットについて、フリートスケールで研究する。 エフェクトトレーニングタイム(ETT%)を運用フレームワークとして使用し、ロスタイムを計測し、それを独立したインフラストラクチャコンポーネントにローカライズし、ジョブの再起動を繰り返す作業を公開する。 この分析は、トレーナーの初期化時の通信の排除とパイプラインの重複、動的シェイプハンドリング、自動チューニングプルーニング、再利用可能なPy-Torch 2コンパイルキャッシュ、非同期チェックポイント、stan-daloneモデルパブリッシュ、リカバリコストの削減などの最適化を導く。 代表モデルに対する最適化を評価し、トレーニングフリートへの影響を測定します。 ETT%はベンチマーク毎に改善され、平均で15.5%、最大のワークロードで85%に達します。 艦隊全体のETT%は、展開後約80%から90%以上まで上昇した。

関連論文リスト

• Breaking the Limits of Open-Weight CLIP: An Optimization Framework for Self-supervised Fine-tuning of CLIP [60.025820738301434]
  TuneCLIPはCLIPモデルの自己教師型微調整フレームワークである。 モデルアーキテクチャとスケールをまたいだパフォーマンスを継続的に改善します。 SigLIP (ViT-B/16) のような主要なオープンウェイトモデルが増加し、ImageNetと関連するアウト・オブ・ディストリビューション・ベンチマークで最大で2.5%向上した。
  論文  参考訳（メタデータ） (2026-01-14T20:38:36Z)
• Decorrelation Speeds Up Vision Transformers [0.6924349411126935]
  Masked Autoencoder (MAE) pre-training of vision transformer (ViTs) は低ラベル方式では高い性能を示すが、かなりの計算コストが伴う。 我々は,各層における入力相関を反復的に低減し,収束を加速する最適化手法であるMAEプレトレーニングにDBP(Decorrelated Backpropagation)を統合することで,この問題に対処する。 ADE20KファインチューニングによるImageNet-1K事前トレーニングでは、DBP-MAEはウォールタイム時間を21.1%減らし、二酸化炭素排出量を21.4%減らし、セグメンテーションmIoUを1.1.1改善する。
  論文  参考訳（メタデータ） (2025-10-16T13:13:12Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• CPPO: Accelerating the Training of Group Relative Policy Optimization-Based Reasoning Models [77.16976971950785]
  本稿では、推論モデルの学習を高速化するために、CPPO(Completion Pruning Policy Optimization)を提案する。 CPPOは絶対的なアドバンテージを低く保ち、勾配計算や更新に必要な数を大幅に削減する。 実験の結果、CPPOはGSM8Kで最大7.98タイム、Mathで3.48タイムで最大7.48タイム、オリジナルのGRPOと比較して精度を保っている。
  論文  参考訳（メタデータ） (2025-03-28T11:30:05Z)
• Federated Learning with Workload Reduction through Partial Training of Client Models and Entropy-Based Data Selection [3.9981390090442694]
  我々は,エッジデバイス上でのトレーニング負荷を削減するために,部分的クライアントモデルのファインチューニングとエントロピーベースのデータ選択を組み合わせた新しいアプローチであるFedFT-EDSを提案する。 実験の結果,FedFT-EDSは50%のユーザデータしか使用せず,ベースライン法,FedAvg,FedProxに比べてグローバルモデルの性能が向上していることがわかった。 FedFT-EDSは、クライアントでのトレーニング時間の3分の1を使用して、クライアントの学習効率を最大3倍改善する。
  論文  参考訳（メタデータ） (2024-12-30T22:47:32Z)
• InTune: Reinforcement Learning-based Data Pipeline Optimization for Deep Recommendation Models [3.7414278978078204]
  深層学習に基づくレコメンデータモデル(DLRM)は多くの現代のレコメンデータシステムにおいて重要なコンポーネントとなっている。 典型的なディープラーニングトレーニングジョブはモデル実行に支配されているが、DLRMトレーニングパフォーマンスの最も重要な要素は、しばしばオンラインデータの取り込みである。
  論文  参考訳（メタデータ） (2023-08-13T18:28:56Z)
• Rethinking Closed-loop Training for Autonomous Driving [82.61418945804544]
  本研究は,学習エージェントの成功に対する異なるトレーニングベンチマーク設計の影響を分析した最初の実証的研究である。 複数ステップのルックアヘッドで計画を行うRLベースの駆動エージェントであるtrajectory value learning (TRAVL)を提案する。 実験の結果,TRAVLはすべてのベースラインと比較してより速く学習でき,安全な操作が可能であることがわかった。
  論文  参考訳（メタデータ） (2023-06-27T17:58:39Z)
• Trainable Weight Averaging: Accelerating Training and Improving Generalization [35.17919937007783]
  提案手法は,候補重みを対象とする減量部分空間内で動作する新しい最適化手法であるTWAを導入する。 TWAは柔軟性が高く、異なるトレーニングシナリオに適用できる。 大規模アプリケーションでは,並列計算と低ビット圧縮を組み合わせた分散トレーニングフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-05-26T01:54:48Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting the Tree [2.0142516017086165]
  プレトレーニングは、パフォーマンスを高め、トレーニング時間を短縮するためのディープラーニングの一般的なテクニックである。 大規模かつ公開可能なデータセットとケースバイケース生成データセットを用いて,RLタスクの事前学習の有効性を評価した。 その結果、関連するデータセットのトレーニング中に学んだフィルタが事前トレーニングを非効率にするのに対して、分散データセットのトレーニング中に学んだフィルタは、RLトレーニング時間を確実に短縮し、80k RLトレーニングステップ後のパフォーマンスを改善することが示唆された。
  論文  参考訳（メタデータ） (2021-10-06T04:25:14Z)
• Large Batch Simulation for Deep Reinforcement Learning [101.01408262583378]
  我々は,視覚複雑な3次元環境における深層強化学習に基づく学習を,事前作業よりも2桁高速化する。 単一のGPUマシンで1秒間に19,000フレーム以上の経験と最大72,000フレーム/秒のエンドツーエンドのトレーニング速度を実現します。 バッチシミュレーションと性能最適化を組み合わせることで、1つのGPU上の複雑な3D環境において、従来の最先端システムでトレーニングされたエージェントの精度の97%から97%まで、ポイントナビゲーションエージェントをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2021-03-12T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。