論文の概要: Very Deep Graph Neural Networks Via Noise Regularisation

• arxiv url: http://arxiv.org/abs/2106.07971v1
• Date: Tue, 15 Jun 2021 08:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 01:37:00.087678
• Title: Very Deep Graph Neural Networks Via Noise Regularisation
• Title（参考訳）: 雑音正規化による超深層グラフニューラルネットワーク
• Authors: Jonathan Godwin and Michael Schaarschmidt and Alexander Gaunt and Alvaro Sanchez-Gonzalez and Yulia Rubanova and Petar Veli\v{c}kovi\'c and James Kirkpatrick and Peter Battaglia
• Abstract要約: グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 57.450532911995516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) perform learned message passing over an input graph, but conventional wisdom says performing more than handful of steps makes training difficult and does not yield improved performance. Here we show the contrary. We train a deep GNN with up to 100 message passing steps and achieve several state-of-the-art results on two challenging molecular property prediction benchmarks, Open Catalyst 2020 IS2RE and QM9. Our approach depends crucially on a novel but simple regularisation method, which we call ``Noisy Nodes'', in which we corrupt the input graph with noise and add an auxiliary node autoencoder loss if the task is graph property prediction. Our results show this regularisation method allows the model to monotonically improve in performance with increased message passing steps. Our work opens new opportunities for reaping the benefits of deep neural networks in the space of graph and other structured prediction problems.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、入力グラフを介して学習したメッセージパッシングを実行するが、従来の知恵によれば、少数のステップを実行することでトレーニングが難しくなり、パフォーマンスが向上しない。 ここでは反対を示す。 最大100のメッセージパッシングステップを持つ深層GNNをトレーニングし、2つの挑戦的な分子特性予測ベンチマークであるOpen Catalyst 2020 IS2REとQM9の最先端結果を達成する。 提案手法は,入力グラフをノイズで破壊し,タスクがグラフ特性予測である場合,補助ノードのオートエンコーダ損失を付加する,新しい単純な正規化法に大きく依存する。 以上の結果から,この正規化手法により,メッセージパッシングステップの増大による単調な性能向上が可能となった。 我々の研究は、グラフやその他の構造化予測問題におけるディープニューラルネットワークの利点を享受する新たな機会を開く。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
  グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。 本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-01T02:54:35Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Graph Neural Network Training with Data Tiering [16.02267628659034]
  グラフニューラルネットワーク(GNN)は、不正検出やレコメンデーション、知識グラフ推論など、グラフ構造化データから学ぶことに成功している。 しかし,1)GPUメモリ容量が限られ,大規模なデータセットでは不十分であり,2)グラフベースのデータ構造が不規則なデータアクセスパターンを引き起こすため,GNNを効率的にトレーニングすることは困難である。 本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-10T19:35:10Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。