論文の概要: GCNear: A Hybrid Architecture for Efficient GCN Training with
Near-Memory Processing
- arxiv url: http://arxiv.org/abs/2111.00680v1
- Date: Mon, 1 Nov 2021 03:47:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 17:29:47.056457
- Title: GCNear: A Hybrid Architecture for Efficient GCN Training with
Near-Memory Processing
- Title（参考訳）: GCNear: ニアメモリ処理による効率的なGCNトレーニングのためのハイブリッドアーキテクチャ
- Authors: Zhe Zhou and Cong Li and Xuechao Wei and Guangyu Sun
- Abstract要約: グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを解析するための最先端のアルゴリズムとなっている。
特に大きなグラフ上で、GCNの効率的なトレーニングを実現することは困難である。
本稿では,これらの課題に対処するためのハイブリッドアーキテクチャであるGCNearを提案する。
- 参考スコア（独自算出の注目度）: 8.130391367247793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Graph Convolutional Networks (GCNs) have become state-of-the-art
algorithms for analyzing non-euclidean graph data. However, it is challenging
to realize efficient GCN training, especially on large graphs. The reasons are
many-folded: 1) GCN training incurs a substantial memory footprint. Full-batch
training on large graphs even requires hundreds to thousands of gigabytes of
memory to buffer the intermediate data for back-propagation. 2) GCN training
involves both memory-intensive data reduction and computation-intensive
features/gradients update operations. Such a heterogeneous nature challenges
current CPU/GPU platforms. 3) The irregularity of graphs and the complex
training dataflow jointly increase the difficulty of improving a GCN training
system's efficiency.
This paper presents GCNear, a hybrid architecture to tackle these challenges.
Specifically, GCNear adopts a DIMM-based memory system to provide easy-to-scale
memory capacity. To match the heterogeneous nature, we categorize GCN training
operations as memory-intensive Reduce and computation-intensive Update
operations. We then offload Reduce operations to on-DIMM NMEs, making full use
of the high aggregated local bandwidth. We adopt a CAE with sufficient
computation capacity to process Update operations. We further propose several
optimization strategies to deal with the irregularity of GCN tasks and improve
GCNear's performance. We also propose a Multi-GCNear system to evaluate the
scalability of GCNear.
- Abstract（参考訳）: 近年,グラフ畳み込みネットワーク (GCN) は非ユークリッドグラフデータを解析するための最先端のアルゴリズムとなっている。
しかし、特に大きなグラフで効率的なgcnトレーニングを実現することは困難である。
理由は多岐にわたる。
1)GCNトレーニングは、かなりのメモリフットプリントを発生させる。
大規模なグラフ上のフルバッチトレーニングは、バックプロパゲーションのために中間データをバッファするために数百から数千ギガバイトのメモリを必要とする。
2)GCNトレーニングには、メモリ集約データ削減と計算集約機能/段階更新操作の両方が含まれる。
このような異質な性質は、現在のCPU/GPUプラットフォームに挑戦する。
3) グラフの不規則性と複雑なトレーニングデータフローは,GCN訓練システムの効率向上の難しさを両立させる。
本稿では,これらの課題に対処するためのハイブリッドアーキテクチャであるGCNearを提案する。
具体的には、GCNearはDIMMベースのメモリシステムを採用し、容易にスケールできるメモリ容量を提供する。
ヘテロジニアスの性質に合わせて、GCNトレーニング操作をメモリ集約リデュースと計算集約更新操作に分類する。
次に、高集積ローカル帯域幅をフル活用して、Reducee操作をオン・DIMM NMEにオフロードする。
更新処理に十分な計算能力を持つCAEを採用している。
さらに,GCNタスクの不規則性に対処し,GCNearの性能を改善するための最適化手法を提案する。
また,GCNearのスケーラビリティを評価するためのマルチGCNearシステムを提案する。
関連論文リスト
- Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks [0.0]
グラフ畳み込みネットワーク(GCN)は、グラフ上の表現学習のための最先端のディープラーニングモデルである。
NUMAベースのメモリアクセス特性を利用したメッセージパッシングアーキテクチャを提案する。
また,提案アクセラレータ内でGCN特有のバックプロパゲーションアルゴリズムを再設計した。
論文 参考訳（メタデータ） (2024-11-06T12:00:51Z) - Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [56.26113670151363]
グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。
既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。
我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。
CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-05-22T14:57:09Z) - Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。
しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。
GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2023-08-23T12:27:55Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Boundary Node Sampling [25.32242812045678]
本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。
BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
論文 参考訳（メタデータ） (2022-03-21T13:44:37Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳（メタデータ） (2021-04-12T17:59:16Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳（メタデータ） (2020-06-13T23:00:22Z) - L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph
Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。
本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。
実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文 参考訳（メタデータ） (2020-03-30T16:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。