論文の概要: Demystifying Oversmoothing in Attention-Based Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2305.16102v4
• Date: Tue, 4 Jun 2024 00:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 14:36:23.578099
• Title: Demystifying Oversmoothing in Attention-Based Graph Neural Networks
• Title（参考訳）: 注意に基づくグラフニューラルネットワークにおけるデマイチグオーバースムーシング
• Authors: Xinyi Wu, Amir Ajorlou, Zihui Wu, Ali Jadbabaie,
• Abstract要約: グラフニューラルネットワーク(GNN)におけるオーバースムーシング(Oversmoothing in Graph Neural Networks)とは、ネットワーク深度の増加がノードの均質表現につながる現象である。 これまでの研究により、グラフ畳み込みネットワーク(GCN)は指数関数的に表現力を失うことが判明した。 グラフアテンション機構が過剰なスムースを緩和できるかどうかはまだ議論の余地がある。
• 参考スコア（独自算出の注目度）: 23.853636836842604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oversmoothing in Graph Neural Networks (GNNs) refers to the phenomenon where increasing network depth leads to homogeneous node representations. While previous work has established that Graph Convolutional Networks (GCNs) exponentially lose expressive power, it remains controversial whether the graph attention mechanism can mitigate oversmoothing. In this work, we provide a definitive answer to this question through a rigorous mathematical analysis, by viewing attention-based GNNs as nonlinear time-varying dynamical systems and incorporating tools and techniques from the theory of products of inhomogeneous matrices and the joint spectral radius. We establish that, contrary to popular belief, the graph attention mechanism cannot prevent oversmoothing and loses expressive power exponentially. The proposed framework extends the existing results on oversmoothing for symmetric GCNs to a significantly broader class of GNN models, including random walk GCNs, Graph Attention Networks (GATs) and (graph) transformers. In particular, our analysis accounts for asymmetric, state-dependent and time-varying aggregation operators and a wide range of common nonlinear activation functions, such as ReLU, LeakyReLU, GELU and SiLU.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)におけるオーバースムーシング(Oversmoothing in Graph Neural Networks)とは、ネットワーク深度の増加がノードの均質表現につながる現象である。 前回の研究では、グラフ畳み込みネットワーク(GCN)は指数関数的に表現力を失うことが確認されているが、グラフの注意機構が過度なスムースを緩和できるかどうかについては議論の余地がある。 本研究では,非線形時間変化力学系として注意に基づくGNNを考察し,不均質行列の積の理論と合同放射半径から得られるツールや技法を取り入れることで,厳密な数学的解析を通じてこの問題に対する決定的な回答を提供する。 一般的な信念とは対照的に、グラフの注意機構は過度なスムース化を防げず、指数関数的に表現力を失うことを証明している。 提案フレームワークは, ランダムウォークGCN, Graph Attention Networks (GAT) および (グラフ) トランスフォーマーを含む, 対称GCNのオーバースムース化に関する既存の結果を, GNNモデルのかなり広いクラスに拡張する。 特に、解析は非対称、状態依存、時間変化の集約演算子と、ReLU、LeakyReLU、GELU、SiLUなどの幅広い非線形活性化関数を考慮に入れている。

関連論文リスト

• Higher-Order GNNs Meet Efficiency: Sparse Sobolev Graph Neural Networks [6.080095317098909]
  グラフニューラルネットワーク(GNN)は,グラフ内のノード間の関係をモデル化する上で,非常に有望であることを示す。 これまでの研究では、主にグラフ内の高次隣人からの情報を活用しようと試みてきた。 我々は基本的な観察を行い、ラプラシア行列の正則とアダマールの力はスペクトルでも同様に振る舞う。 グラフ信号のスパースなソボレフノルムに基づく新しいグラフ畳み込み演算子を提案する。
  論文  参考訳（メタデータ） (2024-11-07T09:53:11Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous Graph Diffusion Functionals [7.6435511285856865]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。 GNNのローカリティ仮定は、グラフ内の長距離依存関係とグローバルパターンをキャプチャする能力を損なう。 本稿では,ブラヒクロニスト問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
  論文  参考訳（メタデータ） (2023-07-01T04:44:43Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks [11.857894213975644]
  本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。 理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
  論文  参考訳（メタデータ） (2022-01-22T00:47:41Z)
• Stability of Graph Convolutional Neural Networks to Stochastic Perturbations [122.12962842842349]
  グラフ畳み込みニューラルネットワーク(GCNN)は、ネットワークデータから表現を学ぶ非線形処理ツールである。 現在の分析では決定論的摂動を考慮しているが、トポロジカルな変化がランダムである場合、関連する洞察を与えられない。 本稿では,リンク損失に起因する乱れグラフ摂動に対するGCNNの安定性について検討する。
  論文  参考訳（メタデータ） (2021-06-19T16:25:28Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。 本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。 前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
  論文  参考訳（メタデータ） (2020-03-18T18:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。