論文の概要: AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training

• arxiv url: http://arxiv.org/abs/2605.17923v1
• Date: Mon, 18 May 2026 06:30:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.920449
• Title: AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training
• Title（参考訳）: AdaptiveLoad: 効率的なビデオ拡散変圧器訓練を目指して
• Authors: Yucheng Guo, Yongjian Guo, Zhong Guan, Haoran Sun, Wen Huang, Wanting Xu, Jing Long, Shuai Di, Junwu Xiong,
• Abstract要約: 大規模なビデオ拡散変換器(DiTやMMDiTなど)の訓練は、重要な計算課題となっている。 既存のバケットベースのデータローディング戦略は、“同じトークン長”の制約に依存している。 本稿では,2つのコアコンポーネントからなる統合フレームワークであるtextitLoadを提案する。
• 参考スコア（独自算出の注目度）: 20.685495573513666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In video generation models, particularly world models, training large-scale video diffusion Transformers (such as DiT and MMDiT) poses significant computational challenges due to the extreme variance in sequence lengths within mixed-mode datasets. Existing bucket-based data loading strategies typically rely on "equal token length" constraints. This approach fails to account for the quadratic complexity of self-attention mechanisms, leading to severe load imbalance and underutilization of GPU resources. This paper proposes \textit{AdaptiveLoad}, an integrated optimization framework consisting of two core components: (1) A dual-constraint adaptive load balancing system, which eliminates long-sequence bottlenecks by simultaneously limiting memory consumption and computational load ($B \times S^p \le M_{\text{comp}}$); (2) A fused LayerNorm-Modulate CUDA kernel, which utilizes a D-tile coalesced reduction strategy to increase throughput and alleviate memory pressure. Experimental results on the Wan 2.1 world model demonstrate that our method reduces the computational imbalance rate from 39\% to 18.9\%, improves peak VRAM utilization efficiency by 22.7\%, and achieves an overall training throughput increase of 27.2\%.
• Abstract（参考訳）: ビデオ生成モデル、特に世界モデルにおいて、大規模なビデオ拡散変換器(DiTやMMDiTなど)の訓練は、混合モードデータセット内の配列長の極端にばらつきがあるため、計算上の問題を引き起こす。 既存のバケットベースのデータローディング戦略は、通常、"平等なトークン長"の制約に依存します。 このアプローチでは、自己アテンション機構の二次的な複雑さを考慮することができず、負荷の不均衡とGPUリソースの過小評価につながる。 本稿では, メモリ使用量と計算負荷を同時に制限することで, 長期的ボトルネックを解消するデュアル制約適応型ロードバランシングシステム(B \times S^p \le M_{\text{comp}}$); 2) D-tile Coalesced reduction strategyを利用して, スループットを向上し, メモリプレッシャを軽減する, 統合最適化フレームワークである‘textit{AdaptiveLoad} を提案する。 Wan 2.1 の世界モデルによる実験結果から,計算不均衡率を 39 % から 18.9 % に削減し,最大 VRAM 利用効率を 22.7 % 改善し,総合的なトレーニングスループットを 27.2 % に向上することを示した。

関連論文リスト

• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training [9.47829333855806]
  ディープラーニングレコメンデーションモデル(DLRM)では、スパース埋め込みテーブルはスパースカテゴリの特徴を管理する重要なコンポーネントである。 本稿では,スケーラビリティの課題を克服する新しい2次元スパース並列化手法を提案する。 提案手法は,モデル性能の同等性を保ちながら,トレーニング効率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-05T19:12:18Z)
• M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference [8.792650582656913]
  M2R2(Mixture of Multi-rate Residuals)は,残差速度を動的に変調して早期アライメントを改善するフレームワークである。 M2R2は最先端の距離ベースの戦略を超え、生成品質とスピードアップのバランスをとる。 自己投機的復号化では、M2R2はMT-Benchで最大2.8倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-04T06:13:52Z)
• MOGNET: A Mux-residual quantized Network leveraging Online-Generated weights [2.7036595757881323]
  MOGNETは、リソース限定のハードウェアと互換性のあるコンパクトなモデルアーキテクチャである。 類似またはより低いモデルサイズで1%まで明確なギャップを保ち、より高い精度を達成することができる。
  論文  参考訳（メタデータ） (2025-01-16T13:30:20Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。