論文の概要: Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again

• arxiv url: http://arxiv.org/abs/2210.08122v1
• Date: Fri, 14 Oct 2022 21:30:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 21:33:50.771428
• Title: Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again
• Title（参考訳）: グラデーション・フローの改善でバニラgcnsを再び素晴らしいものに
• Authors: Ajay Jaiswal, Peihao Wang, Tianlong Chen, Justin F. Rousseau, Ying Ding, Zhangyang Wang
• Abstract要約: 我々は,深いGCNの準標準性能を理解するために,勾配流の新しい視点を提供する。 スキップ接続を用いたバニラGCNの勾配誘導動的スイッチングを提案する。 我々の手法は、彼らのパフォーマンスを大幅に向上させ、快適に競争し、多くの最先端の手法より優れています。
• 参考スコア（独自算出の注目度）: 96.4999517230259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the enormous success of Graph Convolutional Networks (GCNs) in modeling graph-structured data, most of the current GCNs are shallow due to the notoriously challenging problems of over-smoothening and information squashing along with conventional difficulty caused by vanishing gradients and over-fitting. Previous works have been primarily focused on the study of over-smoothening and over-squashing phenomena in training deep GCNs. Surprisingly, in comparison with CNNs/RNNs, very limited attention has been given to understanding how healthy gradient flow can benefit the trainability of deep GCNs. In this paper, firstly, we provide a new perspective of gradient flow to understand the substandard performance of deep GCNs and hypothesize that by facilitating healthy gradient flow, we can significantly improve their trainability, as well as achieve state-of-the-art (SOTA) level performance from vanilla-GCNs. Next, we argue that blindly adopting the Glorot initialization for GCNs is not optimal, and derive a topology-aware isometric initialization scheme for vanilla-GCNs based on the principles of isometry. Additionally, contrary to ad-hoc addition of skip-connections, we propose to use gradient-guided dynamic rewiring of vanilla-GCNs} with skip connections. Our dynamic rewiring method uses the gradient flow within each layer during training to introduce on-demand skip-connections adaptively. We provide extensive empirical evidence across multiple datasets that our methods improve gradient flow in deep vanilla-GCNs and significantly boost their performance to comfortably compete and outperform many fancy state-of-the-art methods. Codes are available at: https://github.com/VITA-Group/GradientGCN.
• Abstract（参考訳）: グラフ構造化データのモデリングにおいて、GCN(Graph Convolutional Networks)が大きな成功を収めたにもかかわらず、現在のGCNの大部分は、過度なスムースティングと情報のスキャッシングという非常に難しい問題と、勾配の消失と過度な適合によって引き起こされる従来の困難により、浅い。 従来の研究は主に深部GCNのトレーニングにおける過密化現象と過密化現象の研究に焦点が当てられていた。 驚くべきことに、CNNやRNNと比較して、深いGCNのトレーニング容易性に対する健全な勾配流の影響を理解することには非常に注意が向けられている。 本稿では,まず,深層gcnsの準標準性能を理解するための勾配流の新しい視点と,健全な勾配流の促進によりトレーニング性が大幅に向上し,バニラgcnsの最先端(sota)レベル性能を達成することができることを仮定する。 次に、GCNのグロロット初期化を盲目的に採用することは最適ではなく、アイソメトリの原理に基づいて、バニラ-GCNのトポロジーを意識した等尺初期化スキームを導出する。 さらに,スキップ接続のアドホック付加とは対照的に,スキップ接続を持つバニラgcnsの勾配誘導動的リワイリングを用いることを提案する。 本手法は,各層内の勾配流を用いてオンデマンドスキップ接続を適応的に導入する。 複数のデータセットにまたがって、我々の手法は深いバニラGCNの勾配流を改善するとともに、その性能を大幅に向上し、快適に競争し、多くの最先端の手法を上回ります。 コードはhttps://github.com/VITA-Group/GradientGCN.comで入手できる。

関連論文リスト

• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• New Insights into Graph Convolutional Networks using Neural Tangent Kernels [8.824340350342512]
  本稿では,グラフに関する半教師付き学習に着目し,その観察をNutral Tangent Kernels (NTK) のレンズを通して説明する。 我々は、無限に広いGCNに対応するNTK(スキップ接続なしで)を導出する。 得られたNTKを用いて、適切な正規化を行うと、ネットワーク深さがGCNの性能を劇的に低下させるとは限らないことを識別する。
  論文  参考訳（メタデータ） (2021-10-08T15:36:52Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Automated Graph Learning via Population Based Self-Tuning GCN [45.28411311903644]
  グラフ畳み込みネットワーク(GCN)とその変種は、幅広いタスクにうまく適用されている。 従来のGCNモデルはオーバーフィッティングとオーバースムーシングの問題に悩まされている。 DropEdgeのような最近の技術はこれらの問題を緩和し、ディープGCNの開発を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T23:05:21Z)
• Dissecting the Diffusion Process in Linear Graph Convolutional Networks [71.30132908130581]
  近年、グラフ畳み込みネットワーク(GCN)が注目を集めています。 最近の研究は、線形GCNが元の非線形GCNに匹敵する性能が得られることを示している。 DGC(Decoupled Graph Convolution)を提案し,端末時間と機能伝播ステップを分離する。
  論文  参考訳（メタデータ） (2021-02-22T02:45:59Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)
• LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation [100.76229017056181]
  Graph Convolution Network (GCN)は、協調フィルタリングのための新しい最先端技術となった。 本研究は,GCNの設計を簡略化し,より簡潔かつ適切なレコメンデーションを実現することを目的としている。 我々は,光GCNと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T06:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。