論文の概要: Two Sides of the Same Coin: Heterophily and Oversmoothing in Graph
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2102.06462v1
- Date: Fri, 12 Feb 2021 11:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:06:15.617479
- Title: Two Sides of the Same Coin: Heterophily and Oversmoothing in Graph
Convolutional Neural Networks
- Title(参考訳): 同じコインの2つの側面:グラフ畳み込みニューラルネットワークにおけるヘテロフィアとオーバースムーシング
- Authors: Yujun Yan, Milad Hashemi, Kevin Swersky, Yaoqing Yang, Danai Koutra
- Abstract要約: 理論的にはヘテロフィリーと過平滑化の関係を特徴づける。
我々は、署名メッセージと学習度補正を組み込むことで、隣人の特徴と度合いの相違に対処するモデルを設計する。
9つの実ネットワークに関する実験により,本モデルがヘテロフィリー条件下での最先端性能を実現することを示す。
- 参考スコア(独自算出の注目度): 33.25212467404069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most graph neural networks (GNN) perform poorly in graphs where neighbors
typically have different features/classes (heterophily) and when stacking
multiple layers (oversmoothing). These two seemingly unrelated problems have
been studied independently, but there is recent empirical evidence that solving
one problem may benefit the other. In this work, going beyond empirical
observations, we theoretically characterize the connections between heterophily
and oversmoothing, both of which lead to indistinguishable node
representations. By modeling the change in node representations during message
propagation, we theoretically analyze the factors (e.g., degree, heterophily
level) that make the representations of nodes from different classes
indistinguishable. Our analysis highlights that (1) nodes with high heterophily
and nodes with low heterophily and low degrees relative to their neighbors
(degree discrepancy) trigger the oversmoothing problem, and (2) allowing
"negative" messages between neighbors can decouple the heterophily and
oversmoothing problems. Based on our insights, we design a model that addresses
the discrepancy in features and degrees between neighbors by incorporating
signed messages and learned degree corrections. Our experiments on 9 real
networks show that our model achieves state-of-the-art performance under
heterophily, and performs comparably to existing GNNs under low
heterophily(homophily). It also effectively addresses oversmoothing and even
benefits from multiple layers.
- Abstract(参考訳): ほとんどのグラフニューラルネットワーク(gnn)は、隣人が(重く)異なる特徴/クラスを持ち、複数の層を積み重ねる(余計な)グラフでは、パフォーマンスが悪い。
これら2つの無関係な問題が独立して研究されているが、ある問題を解くことが他の問題に利益をもたらすという実証的な証拠が近年ある。
この研究では、経験的な観察を超えて、ヘテロフィアとオーバースムーシングの接続を理論的に特徴付け、両者が区別不能なノード表現に繋がる。
メッセージ伝搬中のノード表現の変化をモデル化することにより、異なるクラスからのノードの表現を区別不能にする要因(例えば、度数、ヘテロフィリーレベル)を理論的に分析する。
分析では,(1)ヘテロフィアの高いノードと,その隣接ノードに対してヘテロフィアが低く,かつ低いノード(度差)が過疎化問題を引き起こし,(2)隣接ノード間の"負の"メッセージがヘテロフィアと過疎化の問題を切り離せることを強調する。
本研究の知見に基づき,署名メッセージと学習度補正を組み込むことにより,特徴量と隣接者間の度数の不一致に対処するモデルを設計した。
9つの実ネットワーク上での実験により,本モデルがヘテロフィリー下での最先端性能を実現し,ヘテロフィリー(ホモフィリー)の低い既存GNNに対してコンパティブルに動作可能であることを示す。
オーバースムーシングや複数のレイヤのメリットにも効果的に対処します。
関連論文リスト
- Clarify Confused Nodes via Separated Learning [4.7653525905230865]
我々は、より信頼性の高いノード分離を容易にするため、近隣融合と呼ばれる新しいメトリクスを提案する。
我々のフレームワークは、ノードを効果的に分離し、最新の方法と比較して大幅なパフォーマンス改善を得ることができる。
論文 参考訳(メタデータ) (2023-06-04T07:26:20Z) - Demystifying Structural Disparity in Graph Neural Networks: Can One Size
Fit All? [61.35457647107439]
ほとんどの実世界のホモフィルグラフとヘテロフィルグラフは、ホモフィルグラフとヘテロフィルグラフの両方の構造パターンの混合ノードから構成される。
ノード分類におけるグラフニューラルネットワーク (GNN) は, 一般にホモ親和性ノード上で良好に機能することを示す。
次に、GNNに対する厳密で非I.d PAC-Bayesian一般化を提案し、性能格差の理由を明らかにした。
論文 参考訳(メタデータ) (2023-06-02T07:46:20Z) - When Do Graph Neural Networks Help with Node Classification?
Investigating the Impact of Homophily Principle on Node Distinguishability [92.8279562472538]
ホモフィリー原理は、ノード分類タスクにおけるニューラルネットワークよりもグラフネットワーク(GNN)の性能上の優位性の主要な理由であると考えられている。
最近の研究は、ホモフィリーがなくても、同じクラスのノードが類似した近隣パターンを共有する限り、GNNの利点は依然として存在することを示唆している。
論文 参考訳(メタデータ) (2023-04-25T09:40:47Z) - Heterophily-Aware Graph Attention Network [58.99478502486377]
グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めている。
既存のヘテロフィル性GNNは、各エッジのヘテロフィリのモデリングを無視する傾向にあり、これはヘテロフィリ問題に取り組む上でも不可欠である。
本稿では,局所分布を基礎となるヘテロフィリーとして完全に探索し,活用することで,新たなヘテロフィア対応グラフ注意ネットワーク(HA-GAT)を提案する。
論文 参考訳(メタデータ) (2023-02-07T03:21:55Z) - Ordered GNN: Ordering Message Passing to Deal with Heterophily and
Over-smoothing [24.86998128873837]
本稿では,特定のホップ内でのメッセージパッシングを目標としたニューロンブロックを用いて,ノード表現に渡すメッセージの順序付けを提案する。
広範囲なデータセットを用いた実験結果から,同種および異種両方の条件下で,我々のモデルが同時に最先端を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-02-03T03:38:50Z) - ES-GNN: Generalizing Graph Neural Networks Beyond Homophily with Edge
Splitting [32.69196871253339]
本稿では,グラフエッジを適応的に識別する新しいエッジ分割GNN(ES-GNN)フレームワークを提案する。
これは本質的に、元のグラフを同じノードセットを持つ2つの部分グラフに変換するが、排他的なエッジセットである。
本稿では,ES-GNNを非交叉グラフ記述問題の解とみなすことができることを示す。
論文 参考訳(メタデータ) (2022-05-27T01:29:03Z) - Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with
Heterophily [58.76759997223951]
我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。
また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
論文 参考訳(メタデータ) (2022-03-19T14:26:43Z) - Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism
for Homophily and Heterophily [38.50800951799888]
グラフ畳み込みネットワーク(GCN)は、グラフ構造化データ処理において大きな影響力を持つため、様々な分野に広く応用されている。
既存の方法は、主に高次近傍を集約したり、即時表現を結合することでヘテロフィリーを扱う。
本稿では, ホモフィリーやヘテロフィリーに応じて自動的に伝播・凝集過程を変更できる新しい伝播機構を提案する。
論文 参考訳(メタデータ) (2021-12-27T08:19:23Z) - Is Homophily a Necessity for Graph Neural Networks? [50.959340355849896]
グラフニューラルネットワーク(GNN)は、多数のグラフベースの機械学習タスクに適した学習表現において大きな進歩を見せている。
GNNはホモフィリーな仮定によりうまく機能し、異種ノードが接続する異種グラフへの一般化に失敗したと広く信じられている。
最近の研究は、このような不均一な制限を克服する新しいアーキテクチャを設計し、ベースライン性能の低さと、この概念の証拠として、いくつかの異種グラフベンチマークデータセットに対するアーキテクチャの改善を引用している。
我々の実験では、標準グラフ畳み込みネットワーク(GCN)が実際よりも優れた性能を実現できることを実証的に見出した。
論文 参考訳(メタデータ) (2021-06-11T02:44:00Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳(メタデータ) (2020-06-12T07:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。