論文の概要: Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2407.01281v1
• Date: Mon, 1 Jul 2024 13:35:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:30:10.577246
• Title: Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks
• Title（参考訳）: ブリジング・スムースネスと近似:グラフニューラルネットワークにおけるオーバー・スムース化の理論的考察
• Authors: Guangrui Yang, Jianfei Li, Ming Li, Han Feng, Ding-Xuan Zhou,
• Abstract要約: グラフ上で定義される関数の近似理論について検討する。 グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する近似の下位境界を評価する枠組みを確立する。 出力の高周波エネルギーがGCNの過度な平滑化の指標である崩壊する様子を示す。
• 参考スコア（独自算出の注目度）: 12.001676605529626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore the approximation theory of functions defined on graphs. Our study builds upon the approximation results derived from the $K$-functional. We establish a theoretical framework to assess the lower bounds of approximation for target functions using Graph Convolutional Networks (GCNs) and examine the over-smoothing phenomenon commonly observed in these networks. Initially, we introduce the concept of a $K$-functional on graphs, establishing its equivalence to the modulus of smoothness. We then analyze a typical type of GCN to demonstrate how the high-frequency energy of the output decays, an indicator of over-smoothing. This analysis provides theoretical insights into the nature of over-smoothing within GCNs. Furthermore, we establish a lower bound for the approximation of target functions by GCNs, which is governed by the modulus of smoothness of these functions. This finding offers a new perspective on the approximation capabilities of GCNs. In our numerical experiments, we analyze several widely applied GCNs and observe the phenomenon of energy decay. These observations corroborate our theoretical results on exponential decay order.
• Abstract（参考訳）: 本稿では,グラフ上で定義される関数の近似理論について検討する。 本研究は,K$関数の近似結果に基づく。 我々は,グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する下界の近似を評価するための理論的枠組みを確立し,これらのネットワークでよく見られる過度に平滑な現象について検討する。 当初、グラフ上の$K$-函数の概念を導入し、滑らかさのモジュラリティに同値性を確立する。 次に、典型的なGCNを分析し、出力の高周波エネルギーがどのように減衰するかを示す。 この分析はGCN内の過剰な平滑化の性質に関する理論的洞察を与える。 さらに、これらの関数の滑らかさのモジュラリティによって支配されるGCNによる対象関数の近似の下位境界を確立する。 この発見はGCNの近似能力に関する新たな視点を提供する。 数値実験では, 広範囲に応用されたGCNを解析し, エネルギー減衰現象を観察した。 これらの観測は、指数的崩壊次数の理論結果を裏付ける。

関連論文リスト

• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• On the Ability of Graph Neural Networks to Model Interactions Between Vertices [14.909298522361306]
  グラフニューラルネットワーク(GNN)は、グラフの頂点として表されるエンティティ間の複雑な相互作用をモデル化するために広く使われている。 近年のGNNの表現力を理論的に分析する試みにもかかわらず、相互作用をモデル化する能力の形式的特徴は欠如している。
  論文  参考訳（メタデータ） (2022-11-29T18:58:07Z)
• Generalization Guarantee of Training Graph Convolutional Networks with Graph Topology Sampling [83.77955213766896]
  グラフ畳み込みネットワーク(GCN)は近年,グラフ構造化データの学習において大きな成功を収めている。 スケーラビリティ問題に対処するため、Gsの学習におけるメモリと計算コストを削減するため、グラフトポロジサンプリングが提案されている。 本稿では,3層GCNのトレーニング(最大)におけるグラフトポロジサンプリングの最初の理論的正当性について述べる。
  論文  参考訳（メタデータ） (2022-07-07T21:25:55Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss [17.39060566854841]
  グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 深いGCNが過スムージング問題に苦しむことはよく知られています。 深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
  論文  参考訳（メタデータ） (2021-03-03T11:06:12Z)
• Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective [10.178145000390671]
  グラフ畳み込みネットワーク(GCN)は、様々なグラフベースのタスクにおいて有望な性能を達成した。 しかし、より多くのレイヤを積み重ねる際には、過剰なスムーシングに悩まされる。 本稿では,この観測を定量的に研究し,より深いGCNに対する新たな洞察を開拓する。
  論文  参考訳（メタデータ） (2020-09-24T03:36:43Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。 本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。 前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
  論文  参考訳（メタデータ） (2020-03-18T18:03:08Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。