論文の概要: Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs

• arxiv url: http://arxiv.org/abs/2406.02997v1
• Date: Wed, 5 Jun 2024 06:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:39:21.348009
• Title: Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs
• Title（参考訳）: 残留接続と正規化は、GNNの過度なスムース化を確実に防ぐことができる
• Authors: Michael Scholkemper, Xinyi Wu, Ali Jadbabaie, Michael Schaub,
• Abstract要約: 残差接続と正規化層を有する(線形化)グラフニューラルネットワーク(GNN)の形式的かつ正確な特徴付けを提供する。 正規化層の中心となるステップは、メッセージパッシングにおけるグラフ信号を変化させ、関連する情報を抽出しにくくすることを示す。 本稿では,グラフNormv2と呼ばれる新しい正規化レイヤを導入し,その中心となるステップを学習することで,元のグラフ信号を望ましくない方法で歪ませないようにする。
• 参考スコア（独自算出の注目度）: 25.35358129117543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Residual connections and normalization layers have become standard design choices for graph neural networks (GNNs), and were proposed as solutions to the mitigate the oversmoothing problem in GNNs. However, how exactly these methods help alleviate the oversmoothing problem from a theoretical perspective is not well understood. In this work, we provide a formal and precise characterization of (linearized) GNNs with residual connections and normalization layers. We establish that (a) for residual connections, the incorporation of the initial features at each layer can prevent the signal from becoming too smooth, and determines the subspace of possible node representations; (b) batch normalization prevents a complete collapse of the output embedding space to a one-dimensional subspace through the individual rescaling of each column of the feature matrix. This results in the convergence of node representations to the top-$k$ eigenspace of the message-passing operator; (c) moreover, we show that the centering step of a normalization layer -- which can be understood as a projection -- alters the graph signal in message-passing in such a way that relevant information can become harder to extract. We therefore introduce a novel, principled normalization layer called GraphNormv2 in which the centering step is learned such that it does not distort the original graph signal in an undesirable way. Experimental results confirm the effectiveness of our method.
• Abstract（参考訳）: 残差接続と正規化層はグラフニューラルネットワーク(GNN)の標準設計選択となり、GNNにおける過度な問題を軽減するソリューションとして提案されている。 しかし、これらの手法が理論的な観点から過大な問題を緩和するのにどのように役立つかはよく分かっていない。 本研究では,残差接続層と正規化層を有する(線形化)GNNの形式的,正確な特徴付けを行う。 私たちはそれを確立します (a) 残差接続の場合、各層に初期特徴を組み込むことで、信号がスムーズになるのを防ぎ、可能ノード表現のサブ空間を決定する。 b) バッチ正規化は、特徴行列の各列の個別再スケーリングによって出力埋め込み空間が1次元部分空間に完全に崩壊することを防ぐ。 これにより、ノード表現がメッセージパッシング演算子の上位$k$固有空間に収束する。 さらに, プロジェクションとして理解可能な正規化層の中心となるステップが, 関連情報が抽出しにくくなるように, メッセージパッシングにおいてグラフ信号を変化させることが示される。 そこで我々は、グラフNormv2と呼ばれる新しい正規化層を導入し、中心となるステップを学習し、元のグラフ信号を望ましくない方法で歪ませないようにした。 実験の結果,本手法の有効性が確認された。

関連論文リスト

• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Distributional Signals for Node Classification in Graph Neural Networks [36.30743671968087]
  グラフニューラルネットワーク(GNN)では、ノード特徴とラベルの両方がグラフ信号の例であり、グラフ信号処理(GSP)における鍵概念である。 本フレームワークでは,ノードラベルの分布をその値の代わりに扱うとともに,そのような分布グラフ信号の滑らかさと非均一性の概念を提案する。 次に,GNNの一般正規化手法を提案し,半教師付きノード分類タスクにおけるモデル出力の分布の滑らかさと非均一性をエンコードする。
  論文  参考訳（メタデータ） (2023-04-07T06:54:42Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Can Hybrid Geometric Scattering Networks Help Solve the Maximal Clique Problem? [12.953897563456271]
  NP-hard maximal clique (MC) 問題の近似解に対する幾何散乱に基づくグラフニューラルネットワーク(GNN)を提案する。 実験の結果,提案手法は解の精度と推論速度の点で代表的GNNベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-06-03T11:09:03Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Nonlinear State-Space Generalizations of Graph Convolutional Neural Networks [172.18295279061607]
  グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。 本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。 この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。 本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
  論文  参考訳（メタデータ） (2020-10-27T19:48:56Z)
• Graphical Normalizing Flows [11.23030807455021]
  正規化フローは、ベース分布と一連のニューラルネットワークを組み合わせることで複雑な確率分布をモデル化する。 最先端アーキテクチャは、スカラーからベクトルへの可逆関数を持ち上げるために結合と自己回帰変換に依存している。 本稿では,所定あるいは学習可能なグラフィカル構造を持つ新しい非可逆変換であるグラフィカル正規化フローを提案する。
  論文  参考訳（メタデータ） (2020-06-03T21:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。