論文の概要: Training Graph Neural Networks with 1000 Layers

• arxiv url: http://arxiv.org/abs/2106.07476v2
• Date: Thu, 17 Jun 2021 03:26:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 11:25:32.631934
• Title: Training Graph Neural Networks with 1000 Layers
• Title（参考訳）: 1000層からなるグラフニューラルネットワークのトレーニング
• Authors: Guohao Li, Matthias M\"uller, Bernard Ghanem, Vladlen Koltun
• Abstract要約: 我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
• 参考スコア（独自算出の注目度）: 133.84813995275988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep graph neural networks (GNNs) have achieved excellent results on various tasks on increasingly large graph datasets with millions of nodes and edges. However, memory complexity has become a major obstacle when training deep GNNs for practical applications due to the immense number of nodes, edges, and intermediate activations. To improve the scalability of GNNs, prior works propose smart graph sampling or partitioning strategies to train GNNs with a smaller set of nodes or sub-graphs. In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs. We find that reversible connections in combination with deep network architectures enable the training of overparameterized GNNs that significantly outperform existing methods on multiple datasets. Our models RevGNN-Deep (1001 layers with 80 channels each) and RevGNN-Wide (448 layers with 224 channels each) were both trained on a single commodity GPU and achieve an ROC-AUC of $87.74 \pm 0.13$ and $88.24 \pm 0.15$ on the ogbn-proteins dataset. To the best of our knowledge, RevGNN-Deep is the deepest GNN in the literature by one order of magnitude. Please visit our project website https://www.deepgcns.org/arch/gnn1000 for more information.
• Abstract（参考訳）: ディープグラフニューラルネットワーク(GNN)は、数百万のノードとエッジを持つ大規模グラフデータセットのさまざまなタスクにおいて、優れた結果を得た。 しかし,ノード数,エッジ数,中間的アクティベーション数が多いため,実用化のための深部GNNのトレーニングでは,メモリ複雑性が大きな障害となっている。 gnnのスケーラビリティを改善するために、より小さなノードまたはサブグラフでgnnをトレーニングするためのスマートグラフサンプリングまたはパーティショニング戦略を提案する。 本研究では,GNNのメモリとパラメータ効率を向上させるために,可逆接続,グループ畳み込み,重み付け,平衡モデルについて検討する。 深いネットワークアーキテクチャと組み合わさった可逆接続により、複数のデータセット上の既存のメソッドを大幅に上回る、過パラメータ化されたGNNのトレーニングが可能になる。 我々のモデルであるRevGNN-Deep(それぞれ80のチャネルを持つ1001層)とRevGNN-Wide(それぞれ224のチャネルを持つ448層)は、いずれも単一のコモディティGPUでトレーニングされ、ogbn-oproteinsデータセット上で87.74 \pm 0.13$と8.24 \pm 0.15$のROC-AUCを達成した。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。 詳細はプロジェクトのwebサイトhttps://www.deepgcns.org/arch/gnn1000を参照してください。

関連論文リスト

• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks [15.823247346294089]
  ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。 当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
  論文  参考訳（メタデータ） (2023-05-23T13:44:04Z)
• Graph Neural Network for Accurate and Low-complexity SAR ATR [2.9766397696234996]
  高精度かつ低レイテンシなSAR ATRを実現するために,グラフニューラルネットワーク(GNN)モデルを提案する。 提案したGNNモデルは計算複雑性が低く,高い精度を実現する。 現状のCNNと比較して、提案したGNNモデルは、計算コストが1/3000、モデルサイズが1/80である。
  論文  参考訳（メタデータ） (2023-05-11T20:17:41Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• Network In Graph Neural Network [9.951298152023691]
  本稿では,任意のGNNモデルに対して,モデルをより深くすることでモデル容量を増大させるモデルに依存しない手法を提案する。 GNNレイヤの追加や拡張の代わりに、NGNNは、各GNNレイヤに非線形フィードフォワードニューラルネットワーク層を挿入することで、GNNモデルを深めている。
  論文  参考訳（メタデータ） (2021-11-23T03:58:56Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting [0.38073142980733]
  グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。 GNNのための強化型メタラーナを提案する。 AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
  論文  参考訳（メタデータ） (2021-08-14T03:07:26Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Reducing Communication in Graph Neural Network Training [0.0]
  グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 我々は,GNNを訓練するための並列アルゴリズムのファミリーを導入し,従来の並列GNN訓練手法と比較して通信を効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-05-07T07:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。