論文の概要: Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks

• arxiv url: http://arxiv.org/abs/2411.03857v1
• Date: Wed, 06 Nov 2024 12:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:22:20.485242
• Title: Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks
• Title（参考訳）: 直交トポロジオンチップネットワークを用いたHBMベースFPGAにおけるGCN学習のための効率的なメッセージパッシングアーキテクチャ
• Authors: Qizhe Wu, Letian Zhao, Yuchen Gui, Huawen Liang Xiaotian Wang,
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、グラフ上の表現学習のための最先端のディープラーニングモデルである。 NUMAベースのメモリアクセス特性を利用したメッセージパッシングアーキテクチャを提案する。 また,提案アクセラレータ内でGCN特有のバックプロパゲーションアルゴリズムを再設計した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Graph Convolutional Networks (GCNs) are state-of-the-art deep learning models for representation learning on graphs. However, the efficient training of GCNs is hampered by constraints in memory capacity and bandwidth, compounded by the irregular data flow that results in communication bottlenecks. To address these challenges, we propose a message-passing architecture that leverages NUMA-based memory access properties and employs a parallel multicast routing algorithm based on a 4-D hypercube network within the accelerator for efficient message passing in graphs. Additionally, we have re-engineered the backpropagation algorithm specific to GCNs within our proposed accelerator. This redesign strategically mitigates the memory demands prevalent during the training phase and diminishes the computational overhead associated with the transposition of extensive matrices. Compared to the state-of-the-art HP-GNN architecture we achieved a performance improvement of $1.03\times \sim 1.81\times$.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、グラフ上の表現学習のための最先端のディープラーニングモデルである。 しかし、GCNの効率的なトレーニングは、メモリ容量と帯域幅の制約によって妨げられ、通信ボトルネックをもたらす不規則なデータフローによって複雑化される。 これらの課題に対処するために、NUMAベースのメモリアクセス特性を活用し、アクセラレータ内の4次元ハイパーキューブネットワークに基づく並列マルチキャストルーティングアルゴリズムを用いて、グラフ内の効率的なメッセージパッシングを行うメッセージパッシングアーキテクチャを提案する。 さらに,提案したアクセラレータ内でGCN特有のバックプロパゲーションアルゴリズムを再設計した。 この再設計は、トレーニング期間中に発生するメモリ要求を戦略的に軽減し、広範な行列の変換に伴う計算オーバーヘッドを低減させる。 最先端のHP-GNNアーキテクチャと比較して、1.03\times \sim 1.81\times$のパフォーマンス改善を実現しました。

関連論文リスト

• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution Networks [12.181052673940465]
  グラフ畳み込みネットワーク(GCN)は、様々な領域にわたるグラフデータから潜伏情報を抽出する上で重要である。 本稿では,GCNのためのGPUアクセラレータアーキテクチャであるAccel-GCNを紹介する。 18のベンチマークグラフに対するAccel-GCNの評価では、cuSPARSE、GNNAdvisor、Graph-BLASTをそれぞれ1.17倍、1.86倍、2.94倍で上回っている。
  論文  参考訳（メタデータ） (2023-08-22T23:12:17Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• COIN: Communication-Aware In-Memory Acceleration for Graph Convolutional Networks [2.620532065450903]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを処理する際に顕著な学習能力を示す。 本稿では,GCNハードウェアアクセラレーションのための通信対応インメモリコンピューティングアーキテクチャ(COIN)を提案する。
  論文  参考訳（メタデータ） (2022-05-15T15:29:42Z)
• GCNear: A Hybrid Architecture for Efficient GCN Training with Near-Memory Processing [8.130391367247793]
  グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを解析するための最先端のアルゴリズムとなっている。 特に大きなグラフ上で、GCNの効率的なトレーニングを実現することは困難である。 本稿では,これらの課題に対処するためのハイブリッドアーキテクチャであるGCNearを提案する。
  論文  参考訳（メタデータ） (2021-11-01T03:47:07Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• GraphACT: Accelerating GCN Training on CPU-FPGA Heterogeneous Platforms [1.2183405753834562]
  グラフ畳み込みネットワーク(GCN)は、グラフ上での表現学習のための最先端のディープラーニングモデルとして登場した。 実質的かつ不規則なデータ通信のため、GCNの訓練を加速することは困難である。 我々はCPU-FPGAヘテロジニアスシステム上でGCNをトレーニングするための新しいアクセラレータを設計する。
  論文  参考訳（メタデータ） (2019-12-31T21:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。