論文の概要: ETH: Data-Balanced Heterogeneous Pipeline Parallelism for Training Large Models

• arxiv url: http://arxiv.org/abs/2610.22035v2
• Date: Mon, 19 Oct 2026 04:40:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.316159
• Title: ETH: Data-Balanced Heterogeneous Pipeline Parallelism for Training Large Models
• Title（参考訳）: ETH:大規模モデルの訓練のためのデータベースヘテロジニアスパイプライン並列性
• Abstract要約: 大規模モデルの現在のトレーニングシステムは、パイプラインステージ全体で不平等な数のレイヤを割り当てることで、ワークロードのバランスをとる。 このアプローチは重要なメモリ制約に対処できず、本質的に粒度のバランスが粗い。 我々は異種パイプライン間の効率よくきめ細かなデータバランスを可能にする新しいアプローチである異種パイプライン並列性(HPP)を提案する。
• 参考スコア（独自算出の注目度）: 24.458437201750595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current heterogeneity-aware training systems for large models balance workloads by assigning unequal numbers of layers across pipeline stages, a strategy aimed at equalizing execution time through a unique pipeline configuration. However, this approach fails to address critical memory constraints and suffers from inherently coarse balancing granularity. In this paper, we propose Heterogeneous Pipeline Parallelism (HPP), a novel approach enabling efficient and fine-grained data balance across heterogeneous pipelines. To address HPP's key challenges, prohibitive search overhead for optimal configurations and high communication overhead from asymmetric All-Reduce, we design the ETH training system. ETH employs a hierarchical workload balance framework that jointly optimizes balance across heterogeneous pipelines and within individual pipeline stages. To mitigate asymmetric communication costs, ETH implements block-wise gradient aggregation. Furthermore, it integrates specialized optimizations that dramatically reduce HPP configuration search overhead. Evaluations demonstrate ETH achieves up to 2x training speedup while reducing configuration generation overhead by up to 56x compared to state-of-the-art systems. The code is available at https://github.com/YuMJie/ETH.
• Abstract（参考訳）: 大規模なモデルの現在のヘテロジニティ対応トレーニングシステムは、ユニークなパイプライン構成による実行時間の均等化を目的とした戦略である、パイプラインステージ全体で不平等な数のレイヤを割り当てることで、ワークロードのバランスをとる。 しかし、このアプローチは重要なメモリ制約に対処できず、本質的に粗い粒度のバランスに苦しむ。 本稿ではヘテロジニアスパイプライン間の効率よくきめ細かなデータバランスを実現する新しいアプローチであるヘテロジニアスパイプライン並列性(HPP)を提案する。 非対称なAll-Reduceから,HPPの鍵となる課題,最適構成に対する探索の禁止,高い通信オーバーヘッドに対処するために,ETHトレーニングシステムを設計する。 ETHは階層的なワークロードバランスフレームワークを採用し、不均一なパイプラインと個々のパイプラインステージ間のバランスを共同で最適化する。 非対称通信コストを軽減するため、ETHはブロックワイド勾配アグリゲーションを実装している。 さらに、HPP構成の検索オーバーヘッドを大幅に削減する特別な最適化を統合している。 ETHは、最先端システムと比較して構成生成オーバーヘッドを最大56倍に抑えながら、最大2倍のトレーニングスピードアップを達成する。 コードはhttps://github.com/YuMJie/ETH.comで公開されている。

関連論文リスト

• Para-Pipe: Exploiting Hierarchical Operator Parallelism of ML Computational Graphs on SoCs [22.6523068033902]
  Para-Pipeは階層的なマッピングフレームワークで、パイプラインアーキテクチャ内で、ステージ内およびステージ間演算子並列性を統合する。 Para-Pipeは、パイプラインステージ内およびパイプラインステージ間の並列処理レベルを選択的に微調整することで、スループットとレイテンシのトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:44Z)
• Hybrid Workflow Composition for Extreme-Scale Data Processing: A Case Study on the HL-LHC (Extended Version) [0.5156484100374059]
  本稿では,タスクセットの粒度とシステムレベルの制約の相互作用を特徴付けるための新しいシミュレーションフレームワークを提案する。 その結果、ハイブリッド合成戦略はスループットを最大3.8倍に向上し、ネットワークオーバーヘッドを14.9倍削減できることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T13:07:31Z)
• Piper: Efficient Large-Scale MoE Training via Resource Modeling and Pipelined Hybrid Parallelism [1.0130502379786543]
  HPCプラットフォーム上でのMoEモデルのトレーニングは、大きなメモリフットプリント、異種ネットワーク間の大規模通信の頻繁な増加、厳しいワークロードの不均衡によって妨げられている。 我々は,様々な並列化スキームの下で,MoE構成のメモリ,計算,通信要求を定量化する数学的モデルを開発した。 我々は、リソースモデリングを活用して、ターゲットHPCプラットフォーム上でのMoEモデルの効率的なトレーニング戦略を特定するフレームワークであるPiperを紹介する。
  論文  参考訳（メタデータ） (2026-05-06T15:47:14Z)
• PARM: Pipeline-Adapted Reward Model [60.769414637325326]
  リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。 これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。 我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
  論文  参考訳（メタデータ） (2026-04-20T14:29:08Z)
• ResBM: Residual Bottleneck Models for Low-Bandwidth Pipeline Parallelism [0.0]
  大規模分散トレーニングは、そうでなければ、未使用の計算資源を利用することができる。 近年の取り組みでは、100倍のアクティベーション圧縮が主張されているが、複雑な制約付き最適化に依存し、真のエンドツーエンドトレーニングから逸脱している。 ResBMはコンバージェンスレートを著しく損なうことなく、メモリや計算オーバーヘッドを大きく損なうことなく、最先端の128倍のアクティベーション圧縮を実現する。
  論文  参考訳（メタデータ） (2026-04-13T18:40:45Z)
• AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
  両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。 スパース平均化と非同期更新の両方に対して収束保証を提供します。 大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
  論文  参考訳（メタデータ） (2026-01-30T01:24:47Z)
• AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
  AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。 大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-09-28T08:05:13Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Hierarchical Balance Packing: Towards Efficient Supervised Fine-tuning for Long-Context LLM [49.2709992932292]
  長期コンテキスト大規模言語モデル(LLM)のトレーニングは、長期コンテキストと短コンテキストデータによるハイブリッドトレーニングが、ワークロードの不均衡につながることが多いため、難しい。 既存の作業では、主にデータパッキングを使用してこの問題を軽減するが、不均衡な注意計算や通信オーバーヘッドの無駄を考慮できない。 本稿では,これらの非効率性に対処する新しいバッチ構築法とトレーニングレシピを設計する階層的バランスパッキング(HBP)を提案する。
  論文  参考訳（メタデータ） (2025-03-10T10:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。