論文の概要: L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2003.13606v11
• Date: Sat, 4 Jul 2020 21:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 06:50:16.947792
• Title: L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks
• Title（参考訳）: l$^2$-gcn:階層的学習とグラフ畳み込みネットワークの効率的な学習
• Authors: Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
• 参考スコア（独自算出の注目度）: 118.37805042816784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolution networks (GCN) are increasingly popular in many applications, yet remain notoriously hard to train over large graph datasets. They need to compute node representations recursively from their neighbors. Current GCN training algorithms suffer from either high computational costs that grow exponentially with the number of layers, or high memory usage for loading the entire graph and node embeddings. In this paper, we propose a novel efficient layer-wise training framework for GCN (L-GCN), that disentangles feature aggregation and feature transformation during training, hence greatly reducing time and memory complexities. We present theoretical analysis for L-GCN under the graph isomorphism framework, that L-GCN leads to as powerful GCNs as the more costly conventional training algorithm does, under mild conditions. We further propose L$^2$-GCN, which learns a controller for each layer that can automatically adjust the training epochs per layer in L-GCN. Experiments show that L-GCN is faster than state-of-the-arts by at least an order of magnitude, with a consistent of memory usage not dependent on dataset size, while maintaining comparable prediction performance. With the learned controller, L$^2$-GCN can further cut the training time in half. Our codes are available at https://github.com/Shen-Lab/L2-GCN.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まりつつあるが、大きなグラフデータセットをトレーニングするのは難しい。 隣人から再帰的にノード表現を計算する必要がある。 現在のGCNトレーニングアルゴリズムは、レイヤーの数で指数関数的に増加する高い計算コストや、グラフ全体とノードの埋め込みをロードするメモリ使用量に悩まされている。 本稿では,GCN(L-GCN)のための新しいレイヤワイドトレーニングフレームワークを提案する。 我々はL-GCNをグラフ同型フレームワークで理論的に解析し、L-GCNはよりコストのかかる訓練アルゴリズムほど強力なGCNをもたらす。 さらにL$^2$-GCNを提案し、L-GCNにおける各層毎のトレーニングエポックを自動的に調整できる各層のコントローラを学習する。 実験の結果、L-GCNは少なくとも1桁の精度で最新技術よりも高速であり、メモリ使用量の一貫性はデータセットのサイズに依存しない。 学習したコントローラでは、L$^2$-GCNはトレーニング時間を半減することができる。 私たちのコードはhttps://github.com/shen-lab/l2-gcnで利用可能です。

関連論文リスト

• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
  本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
  論文  参考訳（メタデータ） (2022-03-21T13:44:37Z)
• GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design [27.311994997480745]
  グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。 大きなグラフデータセット上でGCNを推論することは、非常に難しい。 本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-22T00:30:50Z)
• GCNear: A Hybrid Architecture for Efficient GCN Training with Near-Memory Processing [8.130391367247793]
  グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを解析するための最先端のアルゴリズムとなっている。 特に大きなグラフ上で、GCNの効率的なトレーニングを実現することは困難である。 本稿では,これらの課題に対処するためのハイブリッドアーキテクチャであるGCNearを提案する。
  論文  参考訳（メタデータ） (2021-11-01T03:47:07Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
  ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。 一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
  論文  参考訳（メタデータ） (2021-04-12T17:59:16Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。