論文の概要: Two Sides of the Same Coin: Heterophily and Oversmoothing in Graph Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2102.06462v1
• Date: Fri, 12 Feb 2021 11:52:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:06:15.617479
• Title: Two Sides of the Same Coin: Heterophily and Oversmoothing in Graph Convolutional Neural Networks
• Title（参考訳）: 同じコインの2つの側面:グラフ畳み込みニューラルネットワークにおけるヘテロフィアとオーバースムーシング
• Authors: Yujun Yan, Milad Hashemi, Kevin Swersky, Yaoqing Yang, Danai Koutra
• Abstract要約: 理論的にはヘテロフィリーと過平滑化の関係を特徴づける。 我々は、署名メッセージと学習度補正を組み込むことで、隣人の特徴と度合いの相違に対処するモデルを設計する。 9つの実ネットワークに関する実験により,本モデルがヘテロフィリー条件下での最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 33.25212467404069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most graph neural networks (GNN) perform poorly in graphs where neighbors typically have different features/classes (heterophily) and when stacking multiple layers (oversmoothing). These two seemingly unrelated problems have been studied independently, but there is recent empirical evidence that solving one problem may benefit the other. In this work, going beyond empirical observations, we theoretically characterize the connections between heterophily and oversmoothing, both of which lead to indistinguishable node representations. By modeling the change in node representations during message propagation, we theoretically analyze the factors (e.g., degree, heterophily level) that make the representations of nodes from different classes indistinguishable. Our analysis highlights that (1) nodes with high heterophily and nodes with low heterophily and low degrees relative to their neighbors (degree discrepancy) trigger the oversmoothing problem, and (2) allowing "negative" messages between neighbors can decouple the heterophily and oversmoothing problems. Based on our insights, we design a model that addresses the discrepancy in features and degrees between neighbors by incorporating signed messages and learned degree corrections. Our experiments on 9 real networks show that our model achieves state-of-the-art performance under heterophily, and performs comparably to existing GNNs under low heterophily(homophily). It also effectively addresses oversmoothing and even benefits from multiple layers.
• Abstract（参考訳）: ほとんどのグラフニューラルネットワーク(gnn)は、隣人が(重く)異なる特徴/クラスを持ち、複数の層を積み重ねる(余計な)グラフでは、パフォーマンスが悪い。 これら2つの無関係な問題が独立して研究されているが、ある問題を解くことが他の問題に利益をもたらすという実証的な証拠が近年ある。 この研究では、経験的な観察を超えて、ヘテロフィアとオーバースムーシングの接続を理論的に特徴付け、両者が区別不能なノード表現に繋がる。 メッセージ伝搬中のノード表現の変化をモデル化することにより、異なるクラスからのノードの表現を区別不能にする要因(例えば、度数、ヘテロフィリーレベル)を理論的に分析する。 分析では,(1)ヘテロフィアの高いノードと,その隣接ノードに対してヘテロフィアが低く,かつ低いノード(度差)が過疎化問題を引き起こし,(2)隣接ノード間の"負の"メッセージがヘテロフィアと過疎化の問題を切り離せることを強調する。 本研究の知見に基づき,署名メッセージと学習度補正を組み込むことにより,特徴量と隣接者間の度数の不一致に対処するモデルを設計した。 9つの実ネットワーク上での実験により,本モデルがヘテロフィリー下での最先端性能を実現し,ヘテロフィリー(ホモフィリー)の低い既存GNNに対してコンパティブルに動作可能であることを示す。 オーバースムーシングや複数のレイヤのメリットにも効果的に対処します。

関連論文リスト

• The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges [101.83124435649358]
  ホモフィリ原理では、同じラベルや類似属性を持つieノードが接続される可能性が高い。 最近の研究で、GNNのパフォーマンスとNNのパフォーマンスが満足できない非自明なデータセットが特定されている。
  論文  参考訳（メタデータ） (2024-07-12T18:04:32Z)
• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• Heterophilous Distribution Propagation for Graph Neural Networks [23.897535976924722]
  グラフニューラルネットワークのための異種分布伝播(HDP)を提案する。 すべての近隣から情報を集約する代わりに、HDPは隣人をホモ親和性および不テロ親和性の部分に適応的に分離する。 我々は、異なるレベルのホモフィリーを持つ9つのベンチマークデータセットに対して広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-31T06:40:56Z)
• Generation is better than Modification: Combating High Class Homophily Variance in Graph Anomaly Detection [51.11833609431406]
  異なるクラス間のホモフィリー分布の差は、ホモフィリックグラフやヘテロフィリックグラフよりも著しく大きい。 我々は、この現象を定量的に記述した、クラスホモフィリーバリアンスと呼ばれる新しい計量を導入する。 その影響を軽減するために,ホモフィリーエッジ生成グラフニューラルネットワーク(HedGe)と呼ばれる新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T14:26:53Z)
• Demystifying Structural Disparity in Graph Neural Networks: Can One Size Fit All? [61.35457647107439]
  ほとんどの実世界のホモフィルグラフとヘテロフィルグラフは、ホモフィルグラフとヘテロフィルグラフの両方の構造パターンの混合ノードから構成される。 ノード分類におけるグラフニューラルネットワーク (GNN) は, 一般にホモ親和性ノード上で良好に機能することを示す。 次に、GNNに対する厳密で非I.d PAC-Bayesian一般化を提案し、性能格差の理由を明らかにした。
  論文  参考訳（メタデータ） (2023-06-02T07:46:20Z)
• Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing [24.86998128873837]
  本稿では,特定のホップ内でのメッセージパッシングを目標としたニューロンブロックを用いて,ノード表現に渡すメッセージの順序付けを提案する。 広範囲なデータセットを用いた実験結果から,同種および異種両方の条件下で,我々のモデルが同時に最先端を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-03T03:38:50Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily [38.50800951799888]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データ処理において大きな影響力を持つため、様々な分野に広く応用されている。 既存の方法は、主に高次近傍を集約したり、即時表現を結合することでヘテロフィリーを扱う。 本稿では, ホモフィリーやヘテロフィリーに応じて自動的に伝播・凝集過程を変更できる新しい伝播機構を提案する。
  論文  参考訳（メタデータ） (2021-12-27T08:19:23Z)
• Is Homophily a Necessity for Graph Neural Networks? [50.959340355849896]
  グラフニューラルネットワーク(GNN)は、多数のグラフベースの機械学習タスクに適した学習表現において大きな進歩を見せている。 GNNはホモフィリーな仮定によりうまく機能し、異種ノードが接続する異種グラフへの一般化に失敗したと広く信じられている。 最近の研究は、このような不均一な制限を克服する新しいアーキテクチャを設計し、ベースライン性能の低さと、この概念の証拠として、いくつかの異種グラフベンチマークデータセットに対するアーキテクチャの改善を引用している。 我々の実験では、標準グラフ畳み込みネットワーク(GCN)が実際よりも優れた性能を実現できることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-06-11T02:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。