論文の概要: BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Boundary Node Sampling
- arxiv url: http://arxiv.org/abs/2203.10983v1
- Date: Mon, 21 Mar 2022 13:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 15:05:34.149500
- Title: BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Boundary Node Sampling
- Title（参考訳）: BNS-GCN:境界ノードサンプリングによるグラフ畳み込みネットワークの効率的なフルグラフ学習
- Authors: Cheng Wan, Youjie Li, Ang Li, Nam Sung Kim, Yingyan Lin
- Abstract要約: 本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。
BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
- 参考スコア（独自算出の注目度）: 25.32242812045678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Convolutional Networks (GCNs) have emerged as the state-of-the-art
method for graph-based learning tasks. However, training GCNs at scale is still
challenging, hindering both the exploration of more sophisticated GCN
architectures and their applications to real-world large graphs. While it might
be natural to consider graph partition and distributed training for tackling
this challenge, this direction has only been slightly scratched the surface in
the previous works due to the limitations of existing designs. In this work, we
first analyze why distributed GCN training is ineffective and identify the
underlying cause to be the excessive number of boundary nodes of each
partitioned subgraph, which easily explodes the memory and communication costs
for GCN training. Furthermore, we propose a simple yet effective method dubbed
BNS-GCN that adopts random Boundary-Node-Sampling to enable efficient and
scalable distributed GCN training. Experiments and ablation studies
consistently validate the effectiveness of BNS-GCN, e.g., boosting the
throughput by up to 16.2x and reducing the memory usage by up to 58%, while
maintaining a full-graph accuracy. Furthermore, both theoretical and empirical
analysis show that BNS-GCN enjoys a better convergence than existing
sampling-based methods. We believe that our BNS-GCN has opened up a new
paradigm for enabling GCN training at scale. The code is available at
https://github.com/RICE-EIC/BNS-GCN.
- Abstract（参考訳）: graph convolutional networks(gcns)は、グラフベースの学習タスクの最先端手法として登場した。
しかし、GCNを大規模にトレーニングすることは依然として困難であり、より洗練されたGCNアーキテクチャの探索と実際の大規模グラフへの応用の両方を妨げる。
この課題に対処するためのグラフ分割と分散トレーニングを考えるのは自然なことかもしれないが、この方向は既存の設計の限界のために、以前の作業でわずかに表面を傷つけただけである。
本稿では,分散GCNトレーニングが非効率である理由をまず分析し,各分割されたサブグラフの境界ノードの過剰な数である原因を同定し,GCNトレーニングのメモリと通信コストを容易に爆発させる。
さらに,BNS-GCNという,ランダム境界ノードサンプリングを採用し,効率よくスケーラブルな分散GCNトレーニングを実現するシンプルな手法を提案する。
実験とアブレーション研究は、BNS-GCNの有効性を一貫して検証し、例えばスループットを16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
さらに, bns-gcnは, 従来のサンプリングベース法よりも収束性が良好であることを示す。
我々はBNS-GCNがGCNの大規模トレーニングを可能にするための新しいパラダイムをオープンにしたと考えている。
コードはhttps://github.com/RICE-EIC/BNS-GCNで公開されている。
関連論文リスト
- T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。
提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。
これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
論文 参考訳（メタデータ） (2023-06-07T23:12:42Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Pipelined Feature Communication [24.05916878277873]
Graph Convolutional Networks (GCNs) は、グラフ構造化データを学習するための最先端の手法である。
分散GCNトレーニングは、ノード機能とパーティション間の機能勾配の通信の不要なオーバーヘッドを引き起こす。
分割間通信をパイプライン化することで通信オーバーヘッドを隠蔽するPipeGCNを提案する。
論文 参考訳（メタデータ） (2022-03-20T02:08:03Z) - GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm
and Accelerator Co-Design [27.311994997480745]
グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。
大きなグラフデータセット上でGCNを推論することは、非常に難しい。
本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-22T00:30:50Z) - Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文 参考訳（メタデータ） (2020-10-15T07:26:23Z) - Investigating and Mitigating Degree-Related Biases in Graph
Convolutional Networks [62.8504260693664]
グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示す。
本稿では,ノード次数分布に関するGCNを解析する。
本稿では,GCNの次数バイアスを緩和する自己監督型DegreeSpecific GCN(SL-DSGC)を開発した。
論文 参考訳（メタデータ） (2020-06-28T16:26:47Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳（メタデータ） (2020-06-13T23:00:22Z) - L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph
Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。
本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。
実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文 参考訳（メタデータ） (2020-03-30T16:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。