論文の概要: A Note on Over-Smoothing for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2006.13318v1
• Date: Tue, 23 Jun 2020 20:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 22:16:12.901184
• Title: A Note on Over-Smoothing for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの超平滑化に関する一考察
• Authors: Chen Cai, Yusu Wang
• Abstract要約: 我々は、一般的なグラフニューラルネットワークアーキテクチャにおけるオーバースムーシング効果を分析するために、以前の結果であるciteoono 2019graphに基づいて構築する。 重み行列が拡張正規化ラプラシアンのスペクトルによって決定される条件を満たすとき、埋め込みのディリクレエネルギーは 0 に収束し、判別力を失う。
• 参考スコア（独自算出の注目度）: 13.008323851750442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have achieved a lot of success on graph-structured data. However, it is observed that the performance of graph neural networks does not improve as the number of layers increases. This effect, known as over-smoothing, has been analyzed mostly in linear cases. In this paper, we build upon previous results \cite{oono2019graph} to further analyze the over-smoothing effect in the general graph neural network architecture. We show when the weight matrix satisfies the conditions determined by the spectrum of augmented normalized Laplacian, the Dirichlet energy of embeddings will converge to zero, resulting in the loss of discriminative power. Using Dirichlet energy to measure "expressiveness" of embedding is conceptually clean; it leads to simpler proofs than \cite{oono2019graph} and can handle more non-linearities.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データにおいて大きな成功を収めている。 しかし, グラフニューラルネットワークの性能は, 層数の増加に伴って向上しないことがわかった。 この効果はオーバー・スムーシング (over-smoothing) と呼ばれ、主に線形の場合で分析されている。 本稿では,従来の結果であるcite{oono2019graph}に基づいて,一般グラフニューラルネットワークアーキテクチャにおけるオーバースムーシング効果を解析する。 重み行列が拡張正規化ラプラシアンのスペクトルによって決定される条件を満たすとき、埋め込みのディリクレエネルギーは 0 に収束し、判別力を失う。 ディリクレエネルギーを使って埋め込みの「表現性」を測定することは、概念的にはクリーンであり、より非線型性を扱うことができる。

関連論文リスト

• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Geometric instability of graph neural networks on large graphs [0.0]
  グラフニューラルネットワーク(GNN)による埋め込みの幾何学的不安定性の解析 このような不安定性を測定するために,グラフネイティブグラフグラフグラム(GGI)を提案する。 これにより、ノード分類とリンク予測の両方のために、GNN埋め込みの様々な不安定な振る舞いを大きなグラフ上で研究することができる。
  論文  参考訳（メタデータ） (2023-08-19T20:10:54Z)
• Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion [17.70434437597516]
  本稿では,グラフニューラルネットワークの特徴拡散行列の最大特異値でスケールする一般化境界について述べる。 これらの境界は実世界のグラフの以前の境界よりも数値的にはるかに小さい。 ヘッセン語を用いた雑音摂動に対するグラフニューラルネットワークの安定性を測定する。
  論文  参考訳（メタデータ） (2023-02-09T05:54:17Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective [33.01636846541052]
  グラフニューラルネットワーク(GNN)は、グラフよりも多くの予測タスクにおいて優位性を示している。 ノード分類タスクにおけるGNNにおける非線形性の関数について検討する。
  論文  参考訳（メタデータ） (2022-07-22T19:36:12Z)
• Understanding convolution on graphs via energies [23.18124653469668]
  グラフネットワーク(GNN)は一般的にメッセージパッシングによって動作し、隣人から受信した情報に基づいてノードの状態が更新される。 ほとんどのメッセージパッシングモデルはグラフ畳み込みとして機能し、エッジ上に伝播する前に共有された線形変換によって特徴が混合される。 ノード分類タスクでは、グラフの畳み込みには2つの制限がある。
  論文  参考訳（メタデータ） (2022-06-22T11:45:36Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• Graph and graphon neural network stability [122.06927400759021]
  グラフネットワーク(GNN)は、ネットワークデータの有意義な表現を生成するためにグラフ構造の知識に依存する学習アーキテクチャである。 我々は,GNNの安定性を,グラファイトと呼ばれるカーネルオブジェクトを用いて解析する。
  論文  参考訳（メタデータ） (2020-10-23T16:55:56Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting [63.04999833264299]
  グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。 Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。 グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T15:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。