論文の概要: LGNNIC: Acceleration of Large-Scale GNN Training using SmartNICs

• arxiv url: http://arxiv.org/abs/2608.07733v1
• Date: Fri, 07 Aug 2026 19:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.48948
• Title: LGNNIC: Acceleration of Large-Scale GNN Training using SmartNICs
• Title（参考訳）: LGNNIC:SmartNICを用いた大規模GNNトレーニングの高速化
• Abstract要約: グラフニューラルネットワーク(GNN)は、自然科学、ソーシャルネットワーク分析、チップ設計、レコメンデーションシステムといった分野で広く使われている。 有望なアプローチは、グラフを複数のリモートメモリノードに分散させることだが、これは大きなボトルネックをもたらす。 リモートメモリノードと同時配置したSmartNICを利用した,新しいノード間システムアーキテクチャLGNNICを提案する。
• 参考スコア（独自算出の注目度）: 0.1633272850273525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are widely used across domains such as natural sciences, social network analysis, chip design, and recommendation systems. However, as graph sizes grow, storing and processing them entirely on a single-node CPU-GPU system becomes increasingly impractical. A promising approach is to distribute the graph across multiple remote memory nodes, though this introduces a major bottleneck: inter-node network congestion during training. To address this, we propose LGNNIC, a novel inter-node system architecture that leverages SmartNICs co-located with remote memory nodes-a configuration already available in modern systems-to reduce communication overhead in distributed GNN training. LGNNIC offloads key preprocessing tasks to SmartNICs, reducing the volume of data transferred to computational (training) nodes and alleviating network congestion. We introduce two complementary techniques executed on the SmartNICs during the preprocessing phase: Neighbor Sampling, which performs mini-batch sampling, and Quantization of the sampled batches. To evaluate LGNNIC under different communication infrastructures, we designed both an optimized low-overhead DMA-based synchronization mechanism and a high-overhead socket-based alternative used as a benchmark. We evaluate the core SmartNIC offloading mechanisms across standard GNN workloads and sampling hyperparameters using a proof-of-concept (PoC) system comprising one remote-memory node with an NVIDIA BlueField-2 SmartNIC and one compute node with an A100 GPU. Both Neighbor Sampling and Quantization on the remote node demonstrated substantial training speedups in most configurations. Neighbor Sampling achieved up to 62.4x and 17.5x speedups with Sockets and DOCA-DMA, respectively, primarily due to reduced data transaction time. Quantization provided additional speedups of up to 3.6x and 1.3x, respectively, by reducing data transfer.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、自然科学、ソーシャルネットワーク分析、チップ設計、レコメンデーションシステムといった分野で広く使われている。 しかし、グラフのサイズが大きくなるにつれて、それをシングルノードのCPU-GPUシステムで完全に保存し、処理することはますます現実的になる。 有望なアプローチは、グラフを複数のリモートメモリノードに分散させることだが、これは大きなボトルネックをもたらす。 この問題を解決するためにLGNNICを提案する。このアーキテクチャは,分散GNNトレーニングにおける通信オーバーヘッドを低減するために,リモートメモリノードと同時配置されたSmartNICsを活用する。 LGNNICは、キー前処理タスクをSmartNICsにオフロードし、計算(トレーニング)ノードに転送されるデータの量を削減し、ネットワークの混雑を軽減する。 本稿では,前処理フェーズにおいてSmartNIC上で実行される2つの補完手法を紹介する。 異なる通信基盤下でLGNNICを評価するため,我々はベンチマークとして使用する低オーバーヘッドDMAベースの同期機構と高オーバーヘッドソケットベースの代替手段の両方を設計した。 我々は、標準的なGNNワークロード間でのSmartNICのオフロード機構を評価し、NVIDIA BlueField-2 SmartNICとA100 GPUを備えた1つの計算ノードからなる1つのリモートメモリノードからなる概念実証(PoC)システムを用いて、ハイパーパラメータをサンプリングする。 リモートノード上の隣のサンプリングと量子化は、ほとんどの構成で相当なトレーニングスピードアップを示した。 隣接するサンプリングはソケットとDOCA-DMAで最大62.4xと17.5xのスピードアップを達成した。 量子化はデータ転送を減らし、それぞれ最大3.6倍と1.3倍のスピードアップを提供した。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• RNC: Efficient RRAM-aware NAS and Compilation for DNNs on Resource-Constrained Edge Devices [0.30458577208819987]
  我々は抵抗性ランダムアクセスメモリ(RRAM)に基づく加速器のためのエッジフレンドリーなディープニューラルネットワーク(DNN)の開発を目指している。 本稿では,特定のハードウェア制約を満たす最適化ニューラルネットワークを探索するための,エッジコンパイルとリソース制約付きRRAM対応ニューラルネットワーク探索(NAS)フレームワークを提案する。 NASが速度に最適化した結果のモデルは5x-30倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-09-27T15:35:36Z)
• LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme [12.64360444043247]
  グラフニューラルネットワーク(GNN)は、今日ではリコメンデーションシステム、不正検出、ノード/リンク分類タスクで広く使われている。 限られたメモリ容量に対応するため、従来のGNNトレーニングアプローチでは、グラフ分割とシャーディング技術を使用している。 大規模ストレージベースマルチGPUGNNフレームワーク(LSM-GNN)を提案する。 LSM-GNNは、静的ノード情報と動的ノード情報の両方を用いて、キャッシュ空間をインテリジェントに管理するハイブリッドな消去ポリシーを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-21T20:41:39Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
  我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。 提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T21:57:00Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Running Neural Networks on the NIC [7.645750193878735]
  我々は、コモディティプログラマブルNICが低オーバーヘッドでニューラルネットワーク推論タスクを実行できることを示す。 N3ICは処理のレイテンシを100倍にし、スループットは1.5倍向上する。
  論文  参考訳（メタデータ） (2020-09-04T18:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。