論文の概要: ForestColl: Efficient Collective Communications on Heterogeneous Network Fabrics

• arxiv url: http://arxiv.org/abs/2402.06787v1
• Date: Fri, 9 Feb 2024 21:21:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 19:36:53.196552
• Title: ForestColl: Efficient Collective Communications on Heterogeneous Network Fabrics
• Title（参考訳）: ForestColl: 異種ネットワークファブリック上での効率的な集合的コミュニケーション
• Authors: Liangyu Zhao and Saeed Maleki and Ziyue Yang and Hossein Pourreza and Aashaka Shah and Changho Hwang and Arvind Krishnamurthy
• Abstract要約: ネットワークトポロジの効率的なスケジュールを生成するツールであるフォレストコールを提案する。 ForestCollは、スイッチングファブリックとダイレクト接続の両方を含むネットワークファブリックと、ネットワークグラフ構造をサポートする。 ForestCollのスケジュールは、ベンダーが最適化した通信ライブラリと比較して最大52%高いパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 4.828705274534519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As modern DNN models grow ever larger, collective communications between the accelerators (allreduce, etc.) emerge as a significant performance bottleneck. Designing efficient communication schedules is challenging given today's highly diverse and heterogeneous network fabrics. In this paper, we present ForestColl, a tool that generates efficient schedules for any network topology. ForestColl constructs broadcast/aggregation spanning trees as the communication schedule, achieving theoretically minimum network congestion. Its schedule generation runs in strongly polynomial time and is highly scalable. ForestColl supports any network fabrics, including both switching fabrics and direct connections, as well as any network graph structure. We evaluated ForestColl on multi-cluster AMD MI250 and NVIDIA A100 platforms. ForestColl's schedules achieved up to 52\% higher performance compared to the vendors' own optimized communication libraries, RCCL and NCCL. ForestColl also outperforms other state-of-the-art schedule generation techniques with both up to 61\% more efficient generated schedules and orders of magnitude faster schedule generation speed.
• Abstract（参考訳）: 現代のDNNモデルがさらに大きくなるにつれて、アクセラレータ(Allreduceなど)間の集団通信が重要なパフォーマンスボトルネックとして現れます。 今日の高度に多種多様なネットワークファブリックを考えると、効率的な通信スケジュールの設計は困難である。 本稿では,ネットワークトポロジの効率的なスケジュールを生成するツールであるフォレストコールを提案する。 ForestCollは通信スケジュールとして木にまたがるブロードキャスト/アグリゲーションを構築し、理論的には最小限のネットワーク混雑を実現する。 そのスケジュール生成は強い多項式時間で実行され、非常にスケーラブルである。 ForestCollは、スイッチングファブリックとダイレクト接続の両方を含むネットワークファブリックと、ネットワークグラフ構造をサポートする。 マルチクラスタAMD MI250およびNVIDIA A100プラットフォーム上でフォレストコールを評価した。 ForestCollのスケジュールは、ベンダーが最適化した通信ライブラリであるRCCLとNCCLと比較して最大52倍のパフォーマンスを達成した。 ForestCollは、他の最先端のスケジュール生成技術よりも、最大61倍の効率で生成されたスケジュールと、桁違いに高速なスケジュール生成速度でパフォーマンスを向上する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Flexible Communication for Optimal Distributed Learning over Unpredictable Networks [0.0]
  高圧縮比(CR)のトレーニングは、DenseSGDのように高い精度を達成するが、通信コストが高いため、並列スケーリングが低い。 帯域幅に最適化されたAR互換のTopk圧縮機を提案し,特定のネットワーク構成におけるAllgather(AG)よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-05T04:51:19Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Rail-only: A Low-Cost High-Performance Network for Training LLMs with Trillion Parameters [7.293402047354488]
  本稿では,大規模言語モデル(LLM)をハイパースケールでトレーニングするための,低コストなネットワークアーキテクチャを提案する。 この設計をRailオンリーネットワークと名付け,ネットワークコストを38%から77%削減しながら,同じトレーニング性能を実現することを示す。 私たちのアーキテクチャは、全トラフィックに対して8.2%から11.2%の完了時間オーバーヘッドしか持たない、全対全通信を備えたMixture-of-Expert(MoE)モデルもサポートしています。
  論文  参考訳（メタデータ） (2023-07-22T21:18:41Z)
• Themis: A Network Bandwidth-Aware Collective Scheduling Policy for Distributed Training of DL Models [2.6599014990168834]
  分散トレーニングは、タスクを複数のNPUに分割することで、トレーニング時間を短縮するソリューションである。 Themisは、すべての次元にわたる通信負荷のバランスをとるために、グループを動的にスケジュールする新しい集合スケジューリングスキームである。 Themisは平均して1.88x(2.92xmax)で1つのAll-ReduceのネットワークBW利用を改善することができる。
  論文  参考訳（メタデータ） (2021-10-09T06:50:04Z)
• NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of Models [90.6485663020735]
  事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。 我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
  論文  参考訳（メタデータ） (2021-08-07T12:03:14Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• Cloud Collectives: Towards Cloud-aware Collectives forML Workloads with Rank Reordering [8.81194405760133]
  Cloud Collectivesは、参加するフレームワークの並べ替えによって集合を加速するプロトタイプである。 Collectivesは非侵襲的であり、コードの変更も既存のアプリケーションの再構築も必要とせず、クラウドプロバイダのサポートなしで動作します。 パブリッククラウドでのアレーダ操作に対するCloud Collectivesの予備的な応用は、複数のマイクロベンチマークで最大3.7倍、実際のワークロードで1.3倍のスピードアップをもたらす。
  論文  参考訳（メタデータ） (2021-05-28T20:14:38Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Communication Contention Aware Scheduling of Multiple Deep Learning Training Jobs [17.45154289084637]
  我々は、DDLジョブをDAG(Directed Acyclic Graphs)として整理する新しいDDLジョブスケジューリングフレームワークを確立する。 次に、GPU利用のバランスを保ち、各ジョブに割り当てられたGPUを統合するための効率的なアルゴリズム LWF-$kappa$ を提案する。 LWF-$kappa$は、古典的なファーストフィットアルゴリズムよりも最大$1.59タイムで改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:50:56Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。