論文の概要: DeeperGCN: All You Need to Train Deeper GCNs

• arxiv url: http://arxiv.org/abs/2006.07739v1
• Date: Sat, 13 Jun 2020 23:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:23:07.933947
• Title: DeeperGCN: All You Need to Train Deeper GCNs
• Title（参考訳）: DeeperGCN: より深いGCNをトレーニングするために必要なもの
• Authors: Guohao Li, Chenxin Xiong, Ali Thabet, Bernard Ghanem
• Abstract要約: グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
• 参考スコア（独自算出の注目度）: 66.64739331859226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCNs) have been drawing significant attention with the power of representation learning on graphs. Unlike Convolutional Neural Networks (CNNs), which are able to take advantage of stacking very deep layers, GCNs suffer from vanishing gradient, over-smoothing and over-fitting issues when going deeper. These challenges limit the representation power of GCNs on large-scale graphs. This paper proposes DeeperGCN that is capable of successfully and reliably training very deep GCNs. We define differentiable generalized aggregation functions to unify different message aggregation operations (e.g. mean, max). We also propose a novel normalization layer namely MsgNorm and a pre-activation version of residual connections for GCNs. Extensive experiments on Open Graph Benchmark (OGB) show DeeperGCN significantly boosts performance over the state-of-the-art on the large scale graph learning tasks of node property prediction and graph property prediction. Please visit https://www.deepgcns.org for more information.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 これらの課題は、大規模グラフ上のGCNの表現力を制限する。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。 微分可能な一般化アグリゲーション関数を定義し、異なるメッセージアグリゲーション操作(例えば、max)を統一する。 また,新しい正規化層であるMsgNormとGCNに対する残差接続の事前活性化版を提案する。 Open Graph Benchmark(OGB)の大規模な実験では、DeeperGCNはノード特性予測とグラフ特性予測の大規模グラフ学習タスクにおいて、最先端の性能を大幅に向上させる。 詳細はhttps://www.deepgcns.orgをご覧ください。

関連論文リスト

• Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework [12.116373546916078]
  グラフ畳み込みネットワーク(GCN)は、性能向上と強力な一般化により、広く注目を集めている。 本稿では,ほとんどのGCNを解釈可能な正規化器中心最適化フレームワークを提案する。 提案フレームワークでは,グラフデータからトポロジとセマンティック構造を捉えるために,二重正規化グラフ畳み込みネットワーク(dubed tsGCN)を考案した。
  論文  参考訳（メタデータ） (2023-01-11T05:51:33Z)
• Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
  グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。 GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。 本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T04:41:24Z)
• Graph Partner Neural Networks for Semi-Supervised Learning on Graphs [16.489177915147785]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを処理するのに強力であり、ノード分類、リンク予測、グラフ分類などのタスクで最先端のパフォーマンスを達成した。 グラフ畳み込み処理を繰り返した後にノードの表現が区別できない傾向にあるため、深いGCNが過度に滑らかな問題に悩まされることは避けられない。 本稿では,非パラメータ化GCNとパラメータ共有スキームを組み合わせたグラフパートナーニューラルネットワーク(GPNN)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T10:56:56Z)
• Node Feature Kernels Increase Graph Convolutional Network Robustness [19.076912727990326]
  グラフ畳み込みネットワーク(GCN)の入力の摂動に対する堅牢性は、ますます重要になっているトピックになりつつある。 本稿では,ランダム行列理論解析が可能である。 グラフ構造の隣接行列にノード特徴カーネルを追加することで、GCNにおけるメッセージパッシングステップの強化がこの問題を解決することが観察された。
  論文  参考訳（メタデータ） (2021-09-04T04:20:45Z)
• Graph Convolutional Networks for Graphs Containing Missing Features [5.426650977249329]
  グラフ畳み込みネットワーク(GCN)を欠落した特徴を含むグラフに適応させる手法を提案する。 従来の戦略とは対照的に、我々のアプローチは、欠落した特徴の処理とグラフ学習を、同じニューラルネットワークアーキテクチャ内で統合する。 本研究では,提案手法がノード分類やリンク予測タスクにおいて,命令に基づく手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T06:47:21Z)
• AM-GCN: Adaptive Multi-channel Graph Convolutional Networks [85.0332394224503]
  グラフ畳み込みネットワーク(GCN)は,豊富な情報を持つ複雑なグラフにおいて,ノードの特徴と位相構造を最適に統合できるかどうかを検討する。 半教師付き分類(AM-GCN)のための適応型マルチチャネルグラフ畳み込みネットワークを提案する。 実験の結果,AM-GCNはノードの特徴とトポロジ的構造の両方から最も相関性の高い情報を抽出することがわかった。
  論文  参考訳（メタデータ） (2020-07-05T08:16:03Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• Investigating and Mitigating Degree-Related Biases in Graph Convolutional Networks [62.8504260693664]
  グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示す。 本稿では,ノード次数分布に関するGCNを解析する。 本稿では,GCNの次数バイアスを緩和する自己監督型DegreeSpecific GCN(SL-DSGC)を開発した。
  論文  参考訳（メタデータ） (2020-06-28T16:26:47Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。