論文の概要: Taming Gradient Oversmoothing and Expansion in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2410.04824v1
• Date: Mon, 7 Oct 2024 08:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:47:52.510993
• Title: Taming Gradient Oversmoothing and Expansion in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける過平滑化と拡張のモデリング
• Authors: MoonJeong Park, Dongwoo Kim,
• Abstract要約: オーバースムーシングはグラフニューラルネットワーク(GNN)の主要なボトルネックとして主張されている。 トレーニング中に最適化を防ぐための$textitgradient oversmoothingの存在を示します。 勾配拡大を防止するため, 単純かつ効果的な正規化法を提案する。
• 参考スコア（独自算出の注目度）: 3.0764244780817283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Oversmoothing has been claimed as a primary bottleneck for multi-layered graph neural networks (GNNs). Multiple analyses have examined how and why oversmoothing occurs. However, none of the prior work addressed how optimization is performed under the oversmoothing regime. In this work, we show the presence of $\textit{gradient oversmoothing}$ preventing optimization during training. We further analyze that GNNs with residual connections, a well-known solution to help gradient flow in deep architecture, introduce $\textit{gradient expansion}$, a phenomenon of the gradient explosion in diverse directions. Therefore, adding residual connections cannot be a solution for making a GNN deep. Our analysis reveals that constraining the Lipschitz bound of each layer can neutralize the gradient expansion. To this end, we provide a simple yet effective normalization method to prevent the gradient expansion. An empirical study shows that the residual GNNs with hundreds of layers can be efficiently trained with the proposed normalization without compromising performance. Additional studies show that the empirical observations corroborate our theoretical analysis.
• Abstract（参考訳）: オーバースムーシングは多層グラフニューラルネットワーク(GNN)の主要なボトルネックとして主張されている。 複数の分析で、過剰なスムージングの発生の理由と原因が調査されている。 しかし、以前の研究は、過度にスムースな体制下での最適化の方法に言及しなかった。 In this work, we show the presence of $\textit{gradient oversmoothing}$ prevent optimization during training。 さらに, 深層構造における勾配流を支援するよく知られた解である残差接続を持つGNNが, 様々な方向の勾配爆発現象である$\textit{gradient expansion}$を導入している。 したがって、残余接続を追加することは、GNNを深くする解決策にはならない。 解析の結果,各層のリプシッツ境界の制約は勾配拡大を中和できることがわかった。 この目的のために、勾配拡大を防止するための単純で効果的な正規化法を提供する。 実験的な研究により、数百の層を持つ残差GNNは、性能を損なうことなく、提案した正規化で効率的に訓練できることが示された。 さらなる研究により、経験的観察が我々の理論分析を裏付けることが明らかとなった。

関連論文リスト

• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Negative Flux Aggregation to Estimate Feature Attributions [15.411534490483495]
  セキュリティや透明性の懸念が高まる中で、ディープニューラルネットワーク(DNN)の動作を理解する必要性が高まっている。 DNNの説明可能性を高めるために,分岐とフラックスを用いた予測課題に対する入力特徴の属性を推定する。 ベクトル解析における発散定理に着想を得て,新しい負フラックス凝集法(NeFLAG)の定式化と,帰属写像を推定するための効率的な近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-17T16:19:41Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• Continuous vs. Discrete Optimization of Deep Neural Networks [15.508460240818575]
  均一な活性化を伴う深層ニューラルネットワーク上では、勾配流軌跡が良好な曲率を享受できることが示される。 この発見により、深い線形ニューラルネットワーク上の勾配流の解析を、勾配勾配が効率的に大域最小限に収束することを保証できる。 我々は、勾配流の理論が深層学習の背後にある謎の解き放つ中心となると仮定する。
  論文  参考訳（メタデータ） (2021-07-14T10:59:57Z)
• Overparameterization of deep ResNet: zero loss and mean-field analysis [19.45069138853531]
  データに適合するディープニューラルネットワーク(NN)内のパラメータを見つけることは、非最適化問題である。 基礎的な一階述語最適化法(漸進降下法)は,多くの現実的状況に完全に適合した大域的解を求める。 所定の閾値未満の損失を減らすために必要な深さと幅を高い確率で推定する。
  論文  参考訳（メタデータ） (2021-05-30T02:46:09Z)
• Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
  最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。 実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
  論文  参考訳（メタデータ） (2020-10-05T14:36:59Z)
• Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs [115.35745188028169]
  条件付け解析を深層ニューラルネットワーク(DNN)に拡張し,その学習力学を解明する。 バッチ正規化(BN)はトレーニングを安定させるが、時には局所的な最小値の誤った印象を与える。 我々はBNが最適化問題の階層的条件付けを改善することを実験的に観察した。
  論文  参考訳（メタデータ） (2020-02-25T11:40:27Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。