論文の概要: A Survey on Oversmoothing in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2303.10993v1
• Date: Mon, 20 Mar 2023 10:21:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 16:05:29.345845
• Title: A Survey on Oversmoothing in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける過スムーシングに関する調査
• Authors: T. Konstantin Rusch, Michael M. Bronstein, Siddhartha Mishra
• Abstract要約: グラフニューラルネットワーク(GNN)のノード機能は、ネットワーク深さの増加とよく似ている。 我々は,ノード特徴に対する適切な類似度尺度の指数収束を公理的に定義する。 我々は、異なるグラフ上のいくつかのオーバースムーシング測度に対して、この振舞いを実証的に示す。 我々は超平滑化の定義を、急速に発展する連続時間GNNの分野に拡張する。
• 参考スコア（独自算出の注目度）: 27.898197360068146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Node features of graph neural networks (GNNs) tend to become more similar with the increase of the network depth. This effect is known as over-smoothing, which we axiomatically define as the exponential convergence of suitable similarity measures on the node features. Our definition unifies previous approaches and gives rise to new quantitative measures of over-smoothing. Moreover, we empirically demonstrate this behavior for several over-smoothing measures on different graphs (small-, medium-, and large-scale). We also review several approaches for mitigating over-smoothing and empirically test their effectiveness on real-world graph datasets. Through illustrative examples, we demonstrate that mitigating over-smoothing is a necessary but not sufficient condition for building deep GNNs that are expressive on a wide range of graph learning tasks. Finally, we extend our definition of over-smoothing to the rapidly emerging field of continuous-time GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(gnn)のノードの特徴は、ネットワークの深さの増加とより似ている傾向がある。 この効果はオーバースムーシング(over-smoothing)と呼ばれ、ノードの特徴に対する適切な類似性測度の指数収束として、公理的に定義する。 我々の定義は、過去のアプローチを統一し、オーバー・スムーシングの新しい量的尺度を生み出す。 さらに,様々なグラフ(小規模,中規模,大規模)上のオーバースムーシング測度に対して,この挙動を実証的に示す。 また,実世界のグラフデータセットにおけるオーバースムーシングを緩和し,その有効性を実証的にテストするためのいくつかのアプローチについて検討する。 図示的な例を通じて,多種多様なグラフ学習タスクで表現可能な深層gnnを構築する上で,過剰スムーシングの緩和は必要だが十分ではないことを実証する。 最後に、過平滑化の定義を、急速に発展する連続時間GNNの分野に拡張する。

関連論文リスト

• What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding [0.0]
  我々は,グラフニューラルネットワーク(GNN)の大規模グラフに対する理論的理解を深めることを目指しており,その表現力に着目している。 近年、GNNは、非常に一般的なランダムグラフモデルにおいて、ノード数が増加するにつれて、特定の関数に収束することを示した。
  論文  参考訳（メタデータ） (2023-05-24T07:09:53Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• Meta Graph Attention on Heterogeneous Graph with Node-Edge Co-evolution [44.90253939019069]
  Coevolved Meta Graph Neural Network (CoMGNN) を提案する。 また,ノードとエッジの時間パターンをモデル化するためのCoMGNN(ST-CoMGNN)を提案する。
  論文  参考訳（メタデータ） (2020-10-09T13:19:39Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。