論文の概要: Slicing Input Features to Accelerate Deep Learning: A Case Study with Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2408.11500v1
- Date: Wed, 21 Aug 2024 10:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 17:27:26.622469
- Title: Slicing Input Features to Accelerate Deep Learning: A Case Study with Graph Neural Networks
- Title（参考訳）: 深層学習を加速するために入力特徴をスライスする:グラフニューラルネットワークを用いたケーススタディ
- Authors: Zhengjia Xu, Dingyang Lyu, Jinghui Zhang,
- Abstract要約: 本稿では,機能スライスされた大規模グラフ学習手法であるSliceGCNを紹介する。
これは、ミニバッチトレーニングに典型的な精度損失を回避し、GPU間通信を減らすことを目的としている。
6つのノード分類データセットで実験を行い、興味深い分析結果を得た。
- 参考スコア（独自算出の注目度）: 0.24578723416255746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As graphs grow larger, full-batch GNN training becomes hard for single GPU memory. Therefore, to enhance the scalability of GNN training, some studies have proposed sampling-based mini-batch training and distributed graph learning. However, these methods still have drawbacks, such as performance degradation and heavy communication. This paper introduces SliceGCN, a feature-sliced distributed large-scale graph learning method. SliceGCN slices the node features, with each computing device, i.e., GPU, handling partial features. After each GPU processes its share, partial representations are obtained and concatenated to form complete representations, enabling a single GPU's memory to handle the entire graph structure. This aims to avoid the accuracy loss typically associated with mini-batch training (due to incomplete graph structures) and to reduce inter-GPU communication during message passing (the forward propagation process of GNNs). To study and mitigate potential accuracy reductions due to slicing features, this paper proposes feature fusion and slice encoding. Experiments were conducted on six node classification datasets, yielding some interesting analytical results. These results indicate that while SliceGCN does not enhance efficiency on smaller datasets, it does improve efficiency on larger datasets. Additionally, we found that SliceGCN and its variants have better convergence, feature fusion and slice encoding can make training more stable, reduce accuracy fluctuations, and this study also discovered that the design of SliceGCN has a potentially parameter-efficient nature.
- Abstract（参考訳）: グラフが大きくなるにつれて、単一のGPUメモリではフルバッチのGNNトレーニングが困難になる。
そのため、GNNトレーニングのスケーラビリティを高めるために、サンプリングベースでミニバッチトレーニングと分散グラフ学習を提案する研究もある。
しかし、これらの手法には、性能劣化や重通信といった欠点がある。
本稿では,機能スライスされた大規模グラフ学習手法であるSliceGCNを紹介する。
SliceGCNはノード機能をスライスし、各コンピューティングデバイス、すなわちGPUで部分的機能を処理する。
それぞれのGPUがシェアを処理すると、部分表現が取得され、連結されて完全な表現を形成し、単一のGPUメモリがグラフ構造全体を処理できるようになる。
これは、ミニバッチトレーニング(不完全グラフ構造による)に典型的な精度損失を回避し、メッセージパッシング(GNNの前方伝播プロセス)中のGPU間通信を減らすことを目的としている。
本研究では,スライシング特性による電位精度の低減について検討し,特徴融合とスライス符号化を提案する。
6つのノード分類データセットで実験を行い、興味深い分析結果を得た。
これらの結果は、SliceGCNはより小さなデータセットの効率を向上しないが、より大きなデータセットの効率を改善していることを示している。
さらに,SliceGCNとその変異体はより収束性が高く,機能融合やスライス符号化によりトレーニングの安定性が向上し,精度の変動を低減できることがわかった。
関連論文リスト
- Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。
実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
論文 参考訳（メタデータ） (2023-07-14T22:52:27Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and
Preprocessing [0.0]
グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。
既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。
本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
論文 参考訳（メタデータ） (2021-12-16T00:37:37Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳（メタデータ） (2021-04-12T17:59:16Z) - GIST: Distributed Training for Large-Scale Graph Convolutional Networks [18.964079367668262]
GISTはハイブリッド層とグラフサンプリング手法であり、グローバルモデルをいくつかの小さなサブGCNに分割する。
この分散フレームワークはモデルのパフォーマンスを改善し、ウォールクロックのトレーニング時間を大幅に短縮します。
GISTは、グラフ機械学習とディープラーニングの既存のギャップを埋めることを目的として、大規模なGCN実験を可能にすることを目指している。
論文 参考訳（メタデータ） (2021-02-20T19:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。