論文の概要: On Provable Benefits of Depth in Training Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2110.15174v1
• Date: Thu, 28 Oct 2021 14:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 21:45:53.768571
• Title: On Provable Benefits of Depth in Training Graph Convolutional Networks
• Title（参考訳）: トレーニンググラフ畳み込みネットワークにおける深さの有益性について
• Authors: Weilin Cong, Morteza Ramezani, Mehrdad Mahdavi
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、レイヤーの数が増えるにつれて性能低下に悩まされることが知られている。 オーバー・スムーシングの理論的理解とGCNの実用能力の間には相違点があることを論じる。
• 参考スコア（独自算出の注目度）: 13.713485304798368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Convolutional Networks (GCNs) are known to suffer from performance degradation as the number of layers increases, which is usually attributed to over-smoothing. Despite the apparent consensus, we observe that there exists a discrepancy between the theoretical understanding of over-smoothing and the practical capabilities of GCNs. Specifically, we argue that over-smoothing does not necessarily happen in practice, a deeper model is provably expressive, can converge to global optimum with linear convergence rate, and achieve very high training accuracy as long as properly trained. Despite being capable of achieving high training accuracy, empirical results show that the deeper models generalize poorly on the testing stage and existing theoretical understanding of such behavior remains elusive. To achieve better understanding, we carefully analyze the generalization capability of GCNs, and show that the training strategies to achieve high training accuracy significantly deteriorate the generalization capability of GCNs. Motivated by these findings, we propose a decoupled structure for GCNs that detaches weight matrices from feature propagation to preserve the expressive power and ensure good generalization performance. We conduct empirical evaluations on various synthetic and real-world datasets to validate the correctness of our theory.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、通常オーバースムーシングに起因するレイヤの数が増えるにつれて、パフォーマンス低下に悩まされることが知られている。 明らかなコンセンサスにもかかわらず、オーバースムーシングの理論的理解とGCNの実用能力の間には相違があることが観察されている。 具体的には,より深いモデルが表現可能であり,線形収束率でグローバルに最適に収束し,適切なトレーニングを行う限り,非常に高いトレーニング精度を達成できる,という主張がある。 高いトレーニング精度を達成できたにもかかわらず、実験の結果、より深いモデルはテスト段階において不十分に一般化しており、そのような振る舞いに関する既存の理論的理解はいまだに解明されていない。 そこで我々は,GCNの一般化能力を慎重に分析し,高いトレーニング精度を達成するためのトレーニング戦略がGCNの一般化能力を著しく劣化させることを示す。 本研究の目的は,GCNの重み行列を特徴伝搬から切り離して表現力を保ち,優れた一般化性能を確保できる疎結合構造を提案することである。 我々は,様々な合成データと実世界のデータセットについて経験的評価を行い,理論の正確性を検証する。

関連論文リスト

• Deeper Insights into Deep Graph Convolutional Networks: Stability and Generalization [7.523648394276968]
  グラフ畳み込みネットワーク(GCN)は、グラフ学習タスクの強力なモデルとして登場した。 深部GCNの安定性と一般化特性について検討する。
  論文  参考訳（メタデータ） (2024-10-11T02:57:47Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Can overfitted deep neural networks in adversarial training generalize? -- An approximation viewpoint [25.32729343174394]
  敵対的摂動に対するディープニューラルネットワーク(DNN)の堅牢性を改善するために広く用いられている手法である。 本稿では,逆行訓練における過剰適合DNNが近似的視点から一般化できるかどうかを理論的に理解する。
  論文  参考訳（メタデータ） (2024-01-24T17:54:55Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Stochastic Training is Not Necessary for Generalization [57.04880404584737]
  勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。 本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-09-29T00:50:00Z)
• Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss [17.39060566854841]
  グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 深いGCNが過スムージング問題に苦しむことはよく知られています。 深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
  論文  参考訳（メタデータ） (2021-03-03T11:06:12Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。