論文の概要: Training Matters: Unlocking Potentials of Deeper Graph Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2008.08838v1
• Date: Thu, 20 Aug 2020 08:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 02:56:09.953615
• Title: Training Matters: Unlocking Potentials of Deeper Graph Convolutional Neural Networks
• Title（参考訳）: トレーニング事項:より深いグラフ畳み込みニューラルネットワークの可能性を解き放つ
• Authors: Sitao Luan, Mingde Zhao, Xiao-Wen Chang, Doina Precup
• Abstract要約: 本稿では,グラフ信号エネルギー損失の観点から,GCN(Graph Convolutional Networks)の学習難度について検討する。 本稿では,GCN演算子をわずかに修正することにより,トレーニング問題を緩和する手法を提案する。 実験的な検証の結果,これらの操作者の変化がトレーニング難度を著しく低下させ,顕著な性能向上につながることが確認された。
• 参考スコア（独自算出の注目度）: 50.41148309360089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance limit of Graph Convolutional Networks (GCNs) and the fact that we cannot stack more of them to increase the performance, which we usually do for other deep learning paradigms, are pervasively thought to be caused by the limitations of the GCN layers, including insufficient expressive power, etc. However, if so, for a fixed architecture, it would be unlikely to lower the training difficulty and to improve performance by changing only the training procedure, which we show in this paper not only possible but possible in several ways. This paper first identify the training difficulty of GCNs from the perspective of graph signal energy loss. More specifically, we find that the loss of energy in the backward pass during training nullifies the learning of the layers closer to the input. Then, we propose several methodologies to mitigate the training problem by slightly modifying the GCN operator, from the energy perspective. After empirical validation, we confirm that these changes of operator lead to significant decrease in the training difficulties and notable performance boost, without changing the composition of parameters. With these, we conclude that the root cause of the problem is more likely the training difficulty than the others.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)の性能限界と、通常私たちが他のディープラーニングパラダイムで行っているようなパフォーマンス向上のために積み重ねることができないという事実は、表現力の不足などGCN層の限界によって引き起こされると広く考えられている。 しかし, 固定アーキテクチャの場合, トレーニング手順だけを変更することで, トレーニングの難易度を低くし, 性能を向上させることは不可能である。 本稿ではまず, グラフ信号エネルギー損失の観点からGCNの学習困難さを同定する。 より具体的には、トレーニング中の後方パスにおけるエネルギーの損失は、入力に近い層の学習を無効にする。 そこで我々は,エネルギーの観点からGCN演算子をわずかに修正することで,トレーニング問題を緩和する手法をいくつか提案する。 実験的な検証の後、これらの演算子の変化がパラメータの構成を変えることなく、トレーニング困難と顕著なパフォーマンス向上を著しく減少させることを確認した。 以上より,問題の根本原因は,他の要因よりも訓練難易度が高いと結論づけた。

関連論文リスト

• On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning [15.409865070022951]
  グラフニューラルネットワーク(GNN)は、グラフ構造を利用してノード間で情報を伝達するモデルである。 GNNの単純な状態空間の定式化は、余分な訓練可能なパラメータコストを伴わずに、過度な平滑化と過度なスキャッシングを効果的に軽減できることを示す。
  論文  参考訳（メタデータ） (2025-02-15T14:43:41Z)
• Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
  Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。 SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。 本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:54:41Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
  本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
  論文  参考訳（メタデータ） (2022-03-21T13:44:37Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Graph Partner Neural Networks for Semi-Supervised Learning on Graphs [16.489177915147785]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを処理するのに強力であり、ノード分類、リンク予測、グラフ分類などのタスクで最先端のパフォーマンスを達成した。 グラフ畳み込み処理を繰り返した後にノードの表現が区別できない傾向にあるため、深いGCNが過度に滑らかな問題に悩まされることは避けられない。 本稿では,非パラメータ化GCNとパラメータ共有スキームを組み合わせたグラフパートナーニューラルネットワーク(GPNN)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T10:56:56Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。