論文の概要: Exploring GPU-to-GPU Communication: Insights into Supercomputer Interconnects

• arxiv url: http://arxiv.org/abs/2408.14090v2
• Date: Fri, 15 Nov 2024 17:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 18:55:20.489463
• Title: Exploring GPU-to-GPU Communication: Insights into Supercomputer Interconnects
• Title（参考訳）: GPU-to-GPU通信の探索:スーパーコンピュータのインターコネクションへの展望
• Authors: Daniele De Sensi, Lorenzo Pichetti, Flavio Vella, Tiziano De Matteis, Zebin Ren, Luigi Fusco, Matteo Turisini, Daniele Cesarini, Kurt Lust, Animesh Trivedi, Duncan Roweth, Filippo Spiga, Salvatore Di Girolamo, Torsten Hoefler,
• Abstract要約: 本稿では,Alps,Leonardo,LUMIの3種類のスーパーコンピュータを特徴付ける。 我々は,最大4096GPU上でのノード内およびノード間相互接続の性能評価に注目する。 その結果,帯域幅が未使用であること,最適化の機会がまだたくさんあることが判明した。
• 参考スコア（独自算出の注目度）: 15.145701300309337
• License:
• Abstract: Multi-GPU nodes are increasingly common in the rapidly evolving landscape of exascale supercomputers. On these systems, GPUs on the same node are connected through dedicated networks, with bandwidths up to a few terabits per second. However, gauging performance expectations and maximizing system efficiency is challenging due to different technologies, design options, and software layers. This paper comprehensively characterizes three supercomputers - Alps, Leonardo, and LUMI - each with a unique architecture and design. We focus on performance evaluation of intra-node and inter-node interconnects on up to 4096 GPUs, using a mix of intra-node and inter-node benchmarks. By analyzing its limitations and opportunities, we aim to offer practical guidance to researchers, system architects, and software developers dealing with multi-GPU supercomputing. Our results show that there is untapped bandwidth, and there are still many opportunities for optimization, ranging from network to software optimization.
• Abstract（参考訳）: マルチGPUノードは、急速に進化するエクサスケールスーパーコンピュータのランドスケープにおいて、ますます一般的になっている。 これらのシステムでは、同一ノード上のGPUは専用ネットワークを介して接続され、帯域幅は毎秒数テラビットである。 しかし、さまざまな技術、設計オプション、ソフトウェアレイヤのために、パフォーマンスの期待を膨らませ、システム効率を最大化することは難しい。 本稿では,3つのスーパーコンピュータ – Alps,Leonardo,LUMI – をそれぞれ独自のアーキテクチャと設計で包括的に特徴付ける。 我々は,最大4096GPU上でのノード内およびノード間相互接続の性能評価に注目する。 その限界と機会を分析することで、研究者、システムアーキテクト、そしてマルチGPUスーパーコンピュータを扱うソフトウェア開発者に実践的なガイダンスを提供することを目指している。 この結果から,帯域幅が未使用であること,ネットワークからソフトウェアまで多くの最適化機会があることが示唆された。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach [1.076745840431781]
  本稿では,階層的分割のセットアップと,与えられたジョブ集合からの協調スケジューリンググループの選択を包括的に協調する手法を提案する。 これにより、時間共有スケジューリングに比べて最大スループットが1.87倍向上する。
  論文  参考訳（メタデータ） (2024-05-14T16:40:06Z)
• Benchmarking GPUs on SVBRDF Extractor Model [0.0]
  本研究では、より大きな入力画像(256x256)で動作するニューラルネットワークモデル上での異なるGPUの性能を区別する。 本研究では、より大きな入力画像(256x256)で動作するニューラルネットワークモデル上での異なるGPUの性能の差別化を試みた。
  論文  参考訳（メタデータ） (2023-10-19T17:09:06Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Project CGX: Scalable Deep Learning on Commodity GPUs [17.116792714097738]
  本稿では,ハードウェアオーバープロビジョンがアルゴリズムとシステム設計によって置き換えられるかを検討する。 本稿では,通信圧縮のための効率的なソフトウェアサポートを提供するCGXというフレームワークを提案する。 このフレームワークは、コンシューマグレードのマルチGPUシステムから通信ボトルネックを取り除くことができる。
  論文  参考訳（メタデータ） (2021-11-16T17:00:42Z)
• High Performance Hyperspectral Image Classification using Graphics Processing Units [0.0]
  リアルタイムリモートセンシングアプリケーションは、オンボードのリアルタイム処理機能を必要とする。 軽量で小型で低消費電力のハードウェアは、オンボードのリアルタイム処理システムに不可欠である。
  論文  参考訳（メタデータ） (2021-05-30T09:26:03Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• GPU Domain Specialization via Composable On-Package Architecture [0.8240720472180706]
  Composable On-Package GPU (COPAGPU)アーキテクチャは、ドメイン特化GPU製品を提供する。 我々は,COPA-GPUが,最大4倍のオフディー帯域幅,32倍のオンパッケージキャッシュ,2.3倍のDRAM帯域幅とキャパシティを備えたベースラインGPUアーキテクチャをモジュール化することにより,DL特化製品を実現する方法を示した。
  論文  参考訳（メタデータ） (2021-04-05T23:06:50Z)
• Optimizing Deep Learning Recommender Systems' Training On CPU Cluster Architectures [56.69373580921888]
  クラウドコンピューティングセンターのAIサイクルの大部分を占めるRecommender Systemsに注目します。 HPC用に調整された最新のCPUハードウェアとソフトウェア上で動作可能にすることで、パフォーマンスの2桁以上の改善を達成できます。
  論文  参考訳（メタデータ） (2020-05-10T14:40:16Z)
• Efficient Video Semantic Segmentation with Labels Propagation and Refinement [138.55845680523908]
  本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。 i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。 高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
  論文  参考訳（メタデータ） (2019-12-26T11:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。