論文の概要: Distributed Hybrid Parallelism for Large Language Models: Comparative Study and System Design Guide

• arxiv url: http://arxiv.org/abs/2602.09109v1
• Date: Mon, 09 Feb 2026 19:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.204896
• Title: Distributed Hybrid Parallelism for Large Language Models: Comparative Study and System Design Guide
• Title（参考訳）: 大規模言語モデルのための分散ハイブリッド並列処理:比較研究とシステム設計ガイド
• Authors: Hossam Amer, Rezaul Karim, Ali Pourranjbar, Weiwei Zhang, Walid Ahmed, Boxing Chen,
• Abstract要約: 本稿では,集合的操作と分散並列戦略の総合的なレビューを行う。 本稿では、ハイブリッド並列化設計について検討し、モデル展開の異なる段階における通信重なりを強調した。 我々は、現在のLLMトレーニングパラダイムのオープンな課題と制限を強調し、次世代の大規模モデル開発に向けた有望な方向性を概説する。
• 参考スコア（独自算出の注目度）: 15.92814573525633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid growth of large language models (LLMs), a wide range of methods have been developed to distribute computation and memory across hardware devices for efficient training and inference. While existing surveys provide descriptive overviews of these techniques, systematic analysis of their benefits and trade offs and how such insights can inform principled methodology for designing optimal distributed systems remain limited. This paper offers a comprehensive review of collective operations and distributed parallel strategies, complemented by mathematical formulations to deepen theoretical understanding. We further examine hybrid parallelization designs, emphasizing communication computation overlap across different stages of model deployment, including both training and inference. Recent advances in automated search for optimal hybrid parallelization strategies using cost models are also discussed. Moreover, we present case studies with mainstream architecture categories to reveal empirical insights to guide researchers and practitioners in parallelism strategy selection. Finally, we highlight open challenges and limitations of current LLM training paradigms and outline promising directions for the next generation of large scale model development.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な成長に伴い、ハードウェアデバイス間で計算とメモリを分散し、効率的なトレーニングと推論を行うための幅広い手法が開発されている。 既存の調査では、これらの技術の概要が説明されているが、それらの利点とトレードオフの体系的な分析と、最適な分散システムを設計するための原則化された方法論をいかに情報提供できるかは限定的のままである。 本稿では,理論的理解を深めるために数学的定式化によって補完される,集合的操作と分散並列戦略の包括的なレビューを提供する。 さらに、ハイブリッド並列化設計について検討し、訓練と推論の両方を含むモデル展開の異なる段階における通信計算の重複を強調した。 コストモデルを用いた最適ハイブリッド並列化戦略の自動探索の最近の進歩についても論じる。 さらに,本研究では,並列戦略選択における研究者や実践者のガイドとなる経験的洞察を明らかにするために,主流アーキテクチャカテゴリを用いたケーススタディを提案する。 最後に、現在のLLMトレーニングパラダイムのオープンな課題と制限を強調し、次世代の大規模モデル開発に向けた有望な方向性を概説する。

関連論文リスト

• Research on Model Parallelism and Data Parallelism Optimization Methods in Large Language Model-Based Recommendation Systems [6.453224262551299]
  推薦システムにおける大規模言語モデル (LLM) はますます顕著になっている。 本稿では,最適化手法の2つのクラス,モデル並列性とデータ並列性について系統的に検討する。 シミュレーションサービス環境における実世界のレコメンデーションデータセットを用いて行った実験は、提案したハイブリッド並列化スキームがトレーニングスループットを30%以上向上することを示した。
  論文  参考訳（メタデータ） (2025-06-21T02:37:25Z)
• Speculative Decoding and Beyond: An In-Depth Survey of Techniques [9.362838127921458]
  シーケンシャルな依存関係は、大規模な自己回帰モデルをデプロイする上で、根本的なボトルネックとなる。 ジェネレーション・リファインメント・フレームワークの最近の進歩は、このトレードオフを著しく緩和できることを示している。
  論文  参考訳（メタデータ） (2025-02-27T03:53:45Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。