論文の概要: Towards Deeper Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2007.09296v1
• Date: Sat, 18 Jul 2020 01:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:16:09.264128
• Title: Towards Deeper Graph Neural Networks
• Title（参考訳）: より深いグラフニューラルネットワークを目指して
• Authors: Meng Liu, Hongyang Gao, Shuiwang Ji
• Abstract要約: グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
• 参考スコア（独自算出の注目度）: 63.46470695525957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks have shown significant success in the field of graph representation learning. Graph convolutions perform neighborhood aggregation and represent one of the most important graph operations. Nevertheless, one layer of these neighborhood aggregation methods only consider immediate neighbors, and the performance decreases when going deeper to enable larger receptive fields. Several recent studies attribute this performance deterioration to the over-smoothing issue, which states that repeated propagation makes node representations of different classes indistinguishable. In this work, we study this observation systematically and develop new insights towards deeper graph neural networks. First, we provide a systematical analysis on this issue and argue that the key factor compromising the performance significantly is the entanglement of representation transformation and propagation in current graph convolution operations. After decoupling these two operations, deeper graph neural networks can be used to learn graph node representations from larger receptive fields. We further provide a theoretical analysis of the above observation when building very deep models, which can serve as a rigorous and gentle description of the over-smoothing issue. Based on our theoretical and empirical analysis, we propose Deep Adaptive Graph Neural Network (DAGNN) to adaptively incorporate information from large receptive fields. A set of experiments on citation, co-authorship, and co-purchase datasets have confirmed our analysis and insights and demonstrated the superiority of our proposed methods.
• Abstract（参考訳）: グラフニューラルネットワークは、グラフ表現学習の分野で大きな成功を収めている。 グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 それにもかかわらず、これらの近傍集約手法の1つの層はすぐ隣のみを考慮し、より大きな受容場を実現するためにより深く進むと性能が低下する。 いくつかの最近の研究は、この性能劣化は、繰り返し伝播が異なるクラスのノード表現を区別不能にする、という過度な問題に起因している。 本研究では,この観測を体系的に研究し,より深いグラフニューラルネットワークに対する新たな洞察を開拓する。 まず,この問題を体系的に分析し,現在のグラフ畳み込み操作における表現変換と伝播の絡み合いについて,性能を著しく向上させる重要な要因について論じる。 これら2つの操作を分離した後、より深いグラフニューラルネットワークを使用して、より大きな受容領域からグラフノード表現を学ぶことができる。 さらに,超深層モデルを構築する際の観測を理論的に解析し,過密な問題に対する厳密かつ穏やかな説明として機能する。 本稿では,我々の理論的および経験的分析に基づいて,大規模受容場からの情報を適応的に組み込む深層適応グラフニューラルネットワーク(DAGNN)を提案する。 引用,共著者,共同購入データセットに関する一連の実験により,分析と洞察を確認し,提案手法の優位性を実証した。

関連論文リスト

• On Discprecncies between Perturbation Evaluations of Graph Neural Network Attributions [49.8110352174327]
  我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。 中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。 我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
  論文  参考訳（メタデータ） (2024-01-01T02:03:35Z)
• A Comprehensive Survey on Deep Graph Representation Learning [26.24869157855632]
  グラフ表現学習は、高次元スパースグラフ構造化データを低次元密度ベクトルに符号化することを目的としている。 従来の手法ではモデル能力に制限があり、学習性能に制限がある。 深層グラフ表現学習は、浅い(伝統的な)方法よりも大きな可能性と利点を示している。
  論文  参考訳（メタデータ） (2023-04-11T08:23:52Z)
• An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2022-06-01T09:59:09Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)
• Improving Graph Neural Networks with Simple Architecture Design [7.057970273958933]
  グラフニューラルネットワークの重要な設計戦略をいくつか紹介する。 簡便で浅いモデルである特徴選択グラフニューラルネットワーク(FSGNN)を紹介します。 提案手法は,他のGNNモデルよりも優れており,ノード分類タスクの精度が最大64%向上していることを示す。
  論文  参考訳（メタデータ） (2021-05-17T06:46:01Z)
• Deep Learning for Learning Graph Representations [58.649784596090385]
  グラフデータのマイニングはコンピュータ科学においてポピュラーな研究トピックとなっている。 ネットワークデータの膨大な量は、効率的な分析に大きな課題をもたらしている。 これはグラフ表現の出現を動機付け、グラフを低次元ベクトル空間にマッピングする。
  論文  参考訳（メタデータ） (2020-01-02T02:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。