論文の概要: DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2302.05083v1
• Date: Fri, 10 Feb 2023 06:57:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 16:30:52.149592
• Title: DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks
• Title（参考訳）: drgcn:ディープグラフ畳み込みネットワークのための動的発展初期残差
• Authors: Lei Zhang, Xiaodong Yan, Jianshan He, Ruopeng Li, Wei Chu
• Abstract要約: 我々はDRGCN(Residual Graph Convolutional Network)と呼ばれる新しいモデルを提案する。 実験結果から, 深部GCNの過密化問題を効果的に解消できることが示唆された。 我々のモデルはOpen Graph Benchmark (OGB) の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。
• 参考スコア（独自算出の注目度）: 19.483662490506646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional networks (GCNs) have been proved to be very practical to handle various graph-related tasks. It has attracted considerable research interest to study deep GCNs, due to their potential superior performance compared with shallow ones. However, simply increasing network depth will, on the contrary, hurt the performance due to the over-smoothing problem. Adding residual connection is proved to be effective for learning deep convolutional neural networks (deep CNNs), it is not trivial when applied to deep GCNs. Recent works proposed an initial residual mechanism that did alleviate the over-smoothing problem in deep GCNs. However, according to our study, their algorithms are quite sensitive to different datasets. In their setting, the personalization (dynamic) and correlation (evolving) of how residual applies are ignored. To this end, we propose a novel model called Dynamic evolving initial Residual Graph Convolutional Network (DRGCN). Firstly, we use a dynamic block for each node to adaptively fetch information from the initial representation. Secondly, we use an evolving block to model the residual evolving pattern between layers. Our experimental results show that our model effectively relieves the problem of over-smoothing in deep GCNs and outperforms the state-of-the-art (SOTA) methods on various benchmark datasets. Moreover, we develop a mini-batch version of DRGCN which can be applied to large-scale data. Coupling with several fair training techniques, our model reaches new SOTA results on the large-scale ogbn-arxiv dataset of Open Graph Benchmark (OGB). Our reproducible code is available on GitHub.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、様々なグラフ関連タスクを扱うのに非常に実用的であることが証明されている。 浅いものに比べて性能が優れていたため、深いGCNの研究にはかなりの研究関心が寄せられている。 しかし、単にネットワークの深さを増やすだけで、過度にスムーズな問題のために性能が損なわれる。 残差接続の追加はディープ畳み込みニューラルネットワーク(deep cnn)の学習に有効であることが証明されており、ディープgcnに適用すると自明ではない。 最近の研究は、深いGCNの過密問題を緩和する最初の残留メカニズムを提案した。 しかし、我々の研究によると、アルゴリズムは異なるデータセットに非常に敏感である。 彼らの設定では、残差がどのように適用されるかのパーソナライズ(動的)と相関(進化)は無視される。 この目的のために,動的発展初期グラフ畳み込みネットワーク(drgcn)と呼ばれる新しいモデルを提案する。 まず,各ノードに対して動的ブロックを用いて初期表現から情報を適応的に取得する。 第二に、層間の残留進化パターンをモデル化するために、進化的ブロックを使用します。 実験結果から,本モデルはGCNの過度なスムース化の問題を効果的に解消し,様々なベンチマークデータセット上でのSOTA法よりも優れていることがわかった。 さらに,大規模データに適用可能なDRGCNのミニバッチバージョンを開発した。 いくつかの公正なトレーニング手法と組み合わせて、我々のモデルはOpen Graph Benchmark (OGB)の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。 再現可能なコードはGitHubで入手可能です。

関連論文リスト

• An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
  本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。 従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
  論文  参考訳（メタデータ） (2021-03-27T04:47:59Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• GraphMDN: Leveraging graph structure and deep learning to solve inverse problems [0.0]
  グラフニューラルネットワークと混合密度ネットワーク(MDN)の出力を組み合わせたグラフ混合密度ネットワーク(Graph Mixture Density Network, GraphMDN)を開発した。 GraphMDNは、データがグラフ構造されている回帰タスクに優れ、ターゲット統計は密度の混合によってより良く表現される。
  論文  参考訳（メタデータ） (2020-10-26T15:44:22Z)
• Graph Convolutional Networks for Graphs Containing Missing Features [5.426650977249329]
  グラフ畳み込みネットワーク(GCN)を欠落した特徴を含むグラフに適応させる手法を提案する。 従来の戦略とは対照的に、我々のアプローチは、欠落した特徴の処理とグラフ学習を、同じニューラルネットワークアーキテクチャ内で統合する。 本研究では,提案手法がノード分類やリンク予測タスクにおいて,命令に基づく手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T06:47:21Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。