論文の概要: Training Variable Long Sequences with Data-Centric Parallel
- arxiv url: http://arxiv.org/abs/2608.07524v1
- Date: Tue, 14 Jul 2026 17:54:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.545789
- Title: Training Variable Long Sequences with Data-Centric Parallel
- Title（参考訳）: データ中心並列による可変長系列の訓練
- Authors: Geng Zhang, Xuanlei Zhao, Kai Wang, Yang You,
- Abstract要約: 可変長列のディープラーニングモデルを訓練することは、計算上の大きな課題となる。
既存の方法では、効率性と使いやすさのトレードオフが難しい。
データ中心並列 (Data-Centric Parallel, DCP) を導入し、データ自体がランタイムを駆動できるようにします。
- 参考スコア（独自算出の注目度）: 13.581830062964025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training deep learning models on variable long sequences poses significant computational challenges. Existing methods force a difficult trade-off between efficiency and ease-of-use. Simple approaches use static configurations that cause workload imbalance low efficiency, while complex methods introduces significant complexity and code change for new models. To break this trade-off, we introduce Data-Centric Parallel (DCP). Its core principle is to let the data itself drive the runtime. It achieves this by dynamically adjusting direct runtime settings (e.g., parallel size, gradient accumulation, recomputation) based on each batch's sequence length. Empirical results demonstrate that our method achieves up to a 2.88$\times$ speedup on 32 H200 GPUs. Designed for generalization, it can be integrated into any model with 10 lines of code. We anticipate this simple yet effective approach will serve as a robust baseline and facilitate future advancements in distributed training for variable long sequences.
- Abstract（参考訳）: 可変長列のディープラーニングモデルを訓練することは、計算上の大きな課題となる。
既存の方法では、効率性と使いやすさのトレードオフが難しい。
単純なアプローチでは、ワークロードの不均衡を低くする静的な設定が使用され、一方、複雑なメソッドは、新しいモデルに重大な複雑さとコード変更をもたらす。
このトレードオフを打破するために、Data-Centric Parallel (DCP)を紹介します。
そのコア原則は、データ自体がランタイムを駆動することです。
これにより、各バッチのシーケンス長に基づいて、直接実行時設定(例えば、並列サイズ、勾配の累積、再計算)を動的に調整する。
実験結果から,32H200 GPU上での2.88$\times$の高速化が得られた。
一般化のために設計されたもので、10行のコードで任意のモデルに統合することができる。
我々は、この単純で効果的なアプローチがロバストなベースラインとして機能し、可変長列の分散トレーニングにおける今後の進歩を促進することを期待する。
関連論文リスト
- Hierarchical Balance Packing: Towards Efficient Supervised Fine-tuning for Long-Context LLM [49.2709992932292]
長期コンテキスト大規模言語モデル(LLM)のトレーニングは、長期コンテキストと短コンテキストデータによるハイブリッドトレーニングが、ワークロードの不均衡につながることが多いため、難しい。
既存の作業では、主にデータパッキングを使用してこの問題を軽減するが、不均衡な注意計算や通信オーバーヘッドの無駄を考慮できない。
本稿では,これらの非効率性に対処する新しいバッチ構築法とトレーニングレシピを設計する階層的バランスパッキング(HBP)を提案する。
論文 参考訳（メタデータ） (2025-03-10T10:52:50Z) - Hydraulis: Balancing Large Transformer Model Training via Co-designing Parallel Strategies and Data Assignment [25.38589021788461]
我々は並列戦略とデータ割り当てを協調的に最適化するHydraulisを開発する。
実験の結果、Hydraulis は既存のシステムよりも 1.32-2.66 倍高い性能を示した。
論文 参考訳（メタデータ） (2024-12-10T20:01:53Z) - DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme
Long Sequence Transformer Models [34.74093040678323]
我々は,高度に効率的かつスケーラブルなLDMトレーニングを実現するための,新しい,ポータブルで効果的な方法論であるDeepSpeed-Ulyssesを紹介した。
DeepSpeed-Ulyssesは、そのコアでシーケンス次元に沿って入力データを分割し、効率的なオール・ツー・オールの集合通信を用いて注意を払っている。
実験の結果、DeepSpeed-Ulyssesは既存のSOTAベースラインの4倍のシーケンス長で2.5倍高速であることがわかった。
論文 参考訳（メタデータ） (2023-09-25T20:15:57Z) - Does compressing activations help model parallel training? [64.59298055364336]
モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。
圧縮アルゴリズムの3つの共通クラスを実装し,評価する。
我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
論文 参考訳（メタデータ） (2023-01-06T18:58:09Z) - Efficient Sub-structured Knowledge Distillation [52.5931565465661]
定式化においてよりシンプルで,既存のアプローチよりもはるかに効率的にトレーニングできるアプローチを提案する。
教師モデルから学生モデルへの知識の伝達は、出力空間全体ではなく、すべてのサブ構造上の予測を局所的に一致させることで行う。
論文 参考訳（メタデータ） (2022-03-09T15:56:49Z) - Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel
Training [23.633810934134065]
Colossal-AIは、大規模モデルで最大2.76回のトレーニングスピードアップを達成することができる。
システムは、データ、パイプライン、テンソル、シーケンス並列化などの並列トレーニングメソッドをサポートする。
論文 参考訳（メタデータ） (2021-10-28T04:45:55Z) - Scaling Distributed Deep Learning Workloads beyond the Memory Capacity
with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。
最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。
我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文 参考訳（メタデータ） (2020-08-26T07:24:34Z) - Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。
提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。
推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文 参考訳（メタデータ） (2020-04-26T16:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。