論文の概要: Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs

• arxiv url: http://arxiv.org/abs/2403.10543v2
• Date: Tue, 11 Jun 2024 12:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 22:13:02.378270
• Title: Mitigating Oversmoothing Through Reverse Process of GNNs for Heterophilic Graphs
• Title（参考訳）: ヘテロ親和性グラフに対するGNNの逆過程による過平滑化の軽減
• Authors: MoonJeong Park, Jaeseung Heo, Dongwoo Kim,
• Abstract要約: グラフニューラルネットワーク(GNN)は拡散過程に似ており、多くの層を積み重ねる際の学習表現の過度な平滑化につながる。 本稿では, 逆過程の設計原理をGNNの3つの変種に適用する。 逆処理によって予測性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 2.737276507021477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Network (GNN) resembles the diffusion process, leading to the over-smoothing of learned representations when stacking many layers. Hence, the reverse process of message passing can produce the distinguishable node representations by inverting the forward message propagation. The distinguishable representations can help us to better classify neighboring nodes with different labels, such as in heterophilic graphs. In this work, we apply the design principle of the reverse process to the three variants of the GNNs. Through the experiments on heterophilic graph data, where adjacent nodes need to have different representations for successful classification, we show that the reverse process significantly improves the prediction performance in many cases. Additional analysis reveals that the reverse mechanism can mitigate the over-smoothing over hundreds of layers. Our code is available at https://github.com/ml-postech/reverse-gnn.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は拡散過程に似ており、多くの層を積み重ねる際の学習表現の過度な平滑化につながる。 したがって、メッセージパッシングの逆プロセスは、フォワードメッセージの伝搬を反転させることで区別可能なノード表現を生成することができる。 この区別可能な表現は、異種グラフのような異なるラベルで近隣ノードをよりよく分類するのに役立ちます。 本稿では, 逆過程の設計原理をGNNの3つの変種に適用する。 異種グラフデータに対する実験により, 隣接ノードは, 分類を成功させるために異なる表現を持つ必要があるため, 逆処理が多くの場合において予測性能を著しく向上することを示した。 さらなる分析により、逆のメカニズムが数百層にわたるオーバー・スムースを緩和できることが判明した。 私たちのコードはhttps://github.com/ml-postech/reverse-gnn.comで利用可能です。

関連論文リスト

• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing [24.86998128873837]
  本稿では,特定のホップ内でのメッセージパッシングを目標としたニューロンブロックを用いて,ノード表現に渡すメッセージの順序付けを提案する。 広範囲なデータセットを用いた実験結果から,同種および異種両方の条件下で,我々のモデルが同時に最先端を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-03T03:38:50Z)
• Incorporating Heterophily into Graph Neural Networks for Graph Classification [6.709862924279403]
  グラフニューラルネットワーク(GNN)は、しばしばグラフ分類において強いホモフィリを仮定し、ヘテロフィリを考えることは滅多にない。 We developed a novel GNN architecture called IHGNN (short for Incorporated Heterophily into Graph Neural Networks) 我々は、様々なグラフデータセット上でIHGNNを実証的に検証し、グラフ分類のための最先端のGNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T06:48:35Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
  逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。 少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。 我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
  論文  参考訳（メタデータ） (2020-06-18T00:55:10Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。