論文の概要: Large-scale graph representation learning with very deep GNNs and self-supervision

• arxiv url: http://arxiv.org/abs/2107.09422v1
• Date: Tue, 20 Jul 2021 11:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:12:05.465948
• Title: Large-scale graph representation learning with very deep GNNs and self-supervision
• Title（参考訳）: GNNと自己スーパービジョンを用いた大規模グラフ表現学習
• Authors: Ravichandra Addanki, Peter W. Battaglia, David Budden, Andreea Deac, Jonathan Godwin, Thomas Keck, Wai Lok Sibon Li, Alvaro Sanchez-Gonzalez, Jacklynn Stott, Shantanu Thakoor, Petar Veli\v{c}kovi\'c
• Abstract要約: Open Graph Benchmark Large-Scale Challenge (OGB-LSC)を用いてグラフニューラルネットワーク(GNN)を大規模にデプロイする方法を示す。 我々のモデルはMAG240MとPCQM4Mのベンチマークでアワードレベル(トップ3)のパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 17.887767916020774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively and efficiently deploying graph neural networks (GNNs) at scale remains one of the most challenging aspects of graph representation learning. Many powerful solutions have only ever been validated on comparatively small datasets, often with counter-intuitive outcomes -- a barrier which has been broken by the Open Graph Benchmark Large-Scale Challenge (OGB-LSC). We entered the OGB-LSC with two large-scale GNNs: a deep transductive node classifier powered by bootstrapping, and a very deep (up to 50-layer) inductive graph regressor regularised by denoising objectives. Our models achieved an award-level (top-3) performance on both the MAG240M and PCQM4M benchmarks. In doing so, we demonstrate evidence of scalable self-supervised graph representation learning, and utility of very deep GNNs -- both very important open issues. Our code is publicly available at: https://github.com/deepmind/deepmind-research/tree/master/ogb_lsc.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を大規模に効果的かつ効率的にデプロイすることは、グラフ表現学習の最も難しい側面の1つである。 多くの強力なソリューションは、比較的小さなデータセットでのみ検証されており、多くの場合、反直感的な結果を伴う。 OGB-LSCにはブートストレッピングを利用したディープトランスダクティブノード分類器と,デノベーション目的によって正規化された非常にディープ(最大50層)インダクティブグラフ回帰器の2つの大規模GNNが組み込まれている。 我々のモデルはMAG240MとPCQM4Mのベンチマークでアワードレベル(トップ3)のパフォーマンスを達成した。 そうすることで、スケーラブルな自己教師付きグラフ表現学習の証拠と、非常に深いGNNの有用性が示されます。 私たちのコードは、https://github.com/deepmind/deepmind-research/tree/master/ogb_lscで公開されています。

関連論文リスト

• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Evaluating Deep Graph Neural Networks [27.902290204531326]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。 モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。 本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
  論文  参考訳（メタデータ） (2021-08-02T14:55:10Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Deep Graph Neural Networks with Shallow Subgraph Samplers [22.526363992743278]
  本稿では,GNNの精度と効率を両立させるため,簡易な"深部GNN,浅部サンプル"設計法を提案する。 適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、依然として重要な隣り合う特徴やグラフ構造を保存できる。 最大の公開グラフデータセットであるogbn-papers100Mでは,ハードウェアコストを大幅に削減して最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-12-02T18:23:48Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Graph Random Neural Network for Semi-Supervised Learning on Graphs [36.218650686748546]
  グラフニューラルネットワーク(GNN)が広範に研究されているグラフ上での半教師あり学習の問題について検討する。 既存のGNNの多くは、ラベル付きノードが不足している場合、本質的に過度なスムース、非ロバスト性、および弱一般化の制限に悩まされている。 本稿では,これらの問題に対処するシンプルなフレームワークである Graph R NEURAL NETWORKS (GRAND) を提案する。
  論文  参考訳（メタデータ） (2020-05-22T09:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。