論文の概要: HAPMoE: Heterogeneity-Aware Automatic Parallelism Planning for Mixture-of-Experts Models Training

• arxiv url: http://arxiv.org/abs/2609.39350v1
• Date: Wed, 30 Sep 2026 09:11:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.506463
• Title: HAPMoE: Heterogeneity-Aware Automatic Parallelism Planning for Mixture-of-Experts Models Training
• Title（参考訳）: HAPMoE:Mixture-of-Experts Models Trainingのための不均一性を考慮した自動並列化計画
• Abstract要約: 我々は、MoEトレーニングのための異種対応自動並列化プランナであるHAPMoEを紹介する。 軽量なMoE対応コストモデルを構築し、6次元の並列空間を効率的に探索し、Megatron-LM上で直接デプロイ可能な並列計画を生成する。 非一様パイプライン分割により最大78%のゲインが得られ、プルーニング強化された動的プログラミングアルゴリズムは1分以内に検索を完了する。
• 参考スコア（独自算出の注目度）: 23.823922418099357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As model sizes continue to scale, distributed training has become inevitable. Automatic parallelization techniques can derive efficient training parallelism strategies at low cost while achieving superior performance. The difficulty of this problem is jointly determined by the complexity of the model and the underlying compute cluster. Meanwhile, mixture-of-experts (MoE) models are increasingly emerging as the dominant architecture and the rapid evolution of accelerator hardware has made cluster heterogeneity commonplace, posing substantial challenges to automatic parallelization. However, existing approaches typically target either MoE architectures or heterogeneous clusters, failing to generalize to scenarios where both challenges coexist. To this end, we present HAPMoE, a heterogeneity-aware automatic parallelism planner for MoE training. HAPMoE builds a lightweight MoE-aware cost model and efficiently searches a six-dimensional parallel space, producing parallel plans directly deployable on Megatron-LM. Experiments show that HAPMoE improves end-to-end training throughput by up to 3.2$\times$ over baselines across heterogeneous clusters. Its non-uniform pipeline partitioning yields an additional up to 78% gains, and its pruning-enhanced dynamic programming algorithm completes the search within 1 minute, demonstrating high efficiency and practical value in complex hardware environments.
• Abstract（参考訳）: モデルのサイズが拡大を続けるにつれ、分散トレーニングは避けられなくなった。 自動並列化技術は、優れた性能を達成しつつ、低コストで効率的な訓練並列化戦略を導き出すことができる。 この問題の難しさは、モデルと基礎となる計算クラスタの複雑さによって共同で決定される。 一方、Mixix-of-experts(MoE)モデルが主流のアーキテクチャとして登場し、アクセラレータハードウェアの急速な進化により、クラスタの不均一性が一般化し、自動並列化に重大な課題が生まれている。 しかし、既存のアプローチは一般的にMoEアーキテクチャか異種クラスタをターゲットにしており、両方の課題が共存するシナリオに一般化できない。 この目的のために, 不均一性を考慮した自動並列化プランナであるHAPMoEを提案する。 HAPMoEは軽量なMoE対応コストモデルを構築し、6次元の並列空間を効率的に探索し、Megatron-LM上で直接デプロイ可能な並列計画を生成する。 実験により、HAPMoEは、異種クラスタ間のベースラインを最大3.2$\times$オーバーするエンドツーエンドのトレーニングスループットを改善することが示されている。 非一様パイプライン分割により最大78%のゲインが得られ、プルーニング強化された動的プログラミングアルゴリズムは1分以内に探索を完了し、複雑なハードウェア環境で高い効率と実用的な価値を示す。

関連論文リスト

• Piper: Efficient Large-Scale MoE Training via Resource Modeling and Pipelined Hybrid Parallelism [1.0130502379786543]
  HPCプラットフォーム上でのMoEモデルのトレーニングは、大きなメモリフットプリント、異種ネットワーク間の大規模通信の頻繁な増加、厳しいワークロードの不均衡によって妨げられている。 我々は,様々な並列化スキームの下で,MoE構成のメモリ,計算,通信要求を定量化する数学的モデルを開発した。 我々は、リソースモデリングを活用して、ターゲットHPCプラットフォーム上でのMoEモデルの効率的なトレーニング戦略を特定するフレームワークであるPiperを紹介する。
  論文  参考訳（メタデータ） (2026-05-06T15:47:14Z)
• DHP: Efficient Scaling of MLLM Training with Dynamic Hybrid Parallelism [14.539699026008746]
  Dynamic Hybrid Parallelism (DHP) は、MLLMトレーニング中に通信グループと並列性を適応的に再構成する効率的な戦略である。 DHPはMegatron-LMとDeepSpeedを大きく上回り、トレーニングのスループットで最大1.36ドルのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-02-25T11:11:53Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules [15.680276212483292]
  本稿では,MP+EP+ESP学習を高速化するParmを提案する。 Parmは、1.13$times$から5.77$times$のスピードアップを実現し、1296年に手動で設定されたMoEレイヤと、2つの現実世界のMoEモデルで約3$times$の改善を行った。
  論文  参考訳（メタデータ） (2024-06-30T05:55:11Z)
• Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts [4.629608387540524]
  ScMoEは、重複する並列化戦略と統合された新しいショートカット接続型MoEアーキテクチャである。 一般的なトップ2のMoEベースラインと比較して、ScMoEはトレーニングで1.49倍、推論で1.82倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-04-07T17:17:23Z)
• ATOM: Asynchronous Training of Massive Models for Deep Learning in a Decentralized Environment [7.916080032572087]
  Atomは、分散化された環境で巨大なモデルの非同期トレーニング用に設計された、レジリエントな分散トレーニングフレームワークである。 atomは、スワップをシームレスにモデルし、トレーニングスループットを最適化するために複数のコピーを同時にトレーニングすることで、1つのホスト(ピア)に完全なLLMを適合させることを目的としている。 異なるGPT-3モデル構成を用いて実験したところ、最適ネットワーク接続のシナリオでは、原子は最先端の分散パイプライン並列化アプローチを組み込んだ場合、トレーニング効率を最大20倍に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:43:43Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。