論文の概要: Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
- arxiv url: http://arxiv.org/abs/2408.09266v2
- Date: Fri, 23 Aug 2024 09:55:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 17:10:58.742604
- Title: Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
- Title(参考訳): GNNを用いたグラフ分類:最適化,表現,誘導バイアス
- Authors: P. Krishna Kumar a, Harish G. Ramaswamy,
- Abstract要約: このような等価性は、付随する最適化問題を無視するものであり、GNN学習プロセスの全体像を提供するものではない、と我々は主張する。
理論的には、グラフ内のメッセージパッシング層は、識別サブグラフか、あるいはグラフ全体に分散した識別ノードの集合を探索する傾向にあることを証明している。
- 参考スコア(独自算出の注目度): 0.6445605125467572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Theoretical studies on the representation power of GNNs have been centered around understanding the equivalence of GNNs, using WL-Tests for detecting graph isomorphism. In this paper, we argue that such equivalence ignores the accompanying optimization issues and does not provide a holistic view of the GNN learning process. We illustrate these gaps between representation and optimization with examples and experiments. We also explore the existence of an implicit inductive bias (e.g. fully connected networks prefer to learn low frequency functions in their input space) in GNNs, in the context of graph classification tasks. We further prove theoretically that the message-passing layers in the graph, have a tendency to search for either discriminative subgraphs, or a collection of discriminative nodes dispersed across the graph, depending on the different global pooling layers used. We empirically verify this bias through experiments over real-world and synthetic datasets. Finally, we show how our work can help in incorporating domain knowledge via attention based architectures, and can evince their capability to discriminate coherent subgraphs.
- Abstract(参考訳): GNNの表現力に関する理論的研究は、グラフ同型を検出するためにWL-Testsを用いて、GNNの同値性を理解することに集中している。
本稿では、そのような等価性は、付随する最適化問題を無視するものであり、GNN学習プロセスの全体像を提供するものではないと論じる。
本稿では、これらの表現と最適化のギャップを例と実験で説明する。
また、グラフ分類タスクの文脈において、GNNにおける暗黙的帰納バイアス(例えば、完全連結ネットワークは入力空間で低周波関数を学習することを好む)の存在についても検討する。
さらに、グラフ内のメッセージパッシング層は、使用する異なるグローバルプーリング層に依存して、識別サブグラフまたはグラフ全体に分散する識別ノードの集合を探索する傾向にあることを理論的に証明する。
実世界および合成データセット上での実験を通して、このバイアスを実証的に検証する。
最後に、我々の研究は、注目に基づくアーキテクチャを通してドメイン知識を取り入れ、コヒーレントなサブグラフを識別する能力を高めるのにどのように役立つかを示す。
関連論文リスト
- Contextualized Messages Boost Graph Representations [1.5178009359320295]
グラフニューラルネットワーク(GNN)は近年,グラフとして表現される可能性のあるデータ処理能力において,大きな注目を集めている。
本稿では,ノード特徴表現の空間が非可算である場合,すべてのレベルにおけるGNNの表現能力に関する新しい視点を示す。
論文 参考訳(メタデータ) (2024-03-19T08:05:49Z) - Generalization Limits of Graph Neural Networks in Identity Effects
Learning [12.302336258860116]
グラフニューラルネットワーク(GNN)は、さまざまなグラフドメインでデータ駆動学習を行う強力なツールとして登場した。
我々は、いわゆるアイデンティティ効果の学習において、GNNの新たな一般化特性と基本的限界を確立する。
我々の研究は、単純な認知タスクを行う際に、GNNの能力を理解する必要性によって動機付けられている。
論文 参考訳(メタデータ) (2023-06-30T20:56:38Z) - Representation Power of Graph Neural Networks: Improved Expressivity via
Algebraic Analysis [124.97061497512804]
標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。
また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
論文 参考訳(メタデータ) (2022-05-19T18:40:25Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳(メタデータ) (2022-05-15T11:38:14Z) - Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。
具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。
グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
論文 参考訳(メタデータ) (2022-02-14T23:07:47Z) - Fair Node Representation Learning via Adaptive Data Augmentation [9.492903649862761]
この研究は、グラフニューラルネットワーク(GNN)を用いて得られるノード表現のバイアス源を理論的に説明する。
この分析に基づいて、本質的なバイアスを低減するために、公正に意識したデータ拡張フレームワークを開発した。
分析と提案手法は,様々なGNN学習機構の公平性を高めるために容易に利用できる。
論文 参考訳(メタデータ) (2022-01-21T05:49:15Z) - Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。
このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。
本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-20T18:57:18Z) - Is Homophily a Necessity for Graph Neural Networks? [50.959340355849896]
グラフニューラルネットワーク(GNN)は、多数のグラフベースの機械学習タスクに適した学習表現において大きな進歩を見せている。
GNNはホモフィリーな仮定によりうまく機能し、異種ノードが接続する異種グラフへの一般化に失敗したと広く信じられている。
最近の研究は、このような不均一な制限を克服する新しいアーキテクチャを設計し、ベースライン性能の低さと、この概念の証拠として、いくつかの異種グラフベンチマークデータセットに対するアーキテクチャの改善を引用している。
我々の実験では、標準グラフ畳み込みネットワーク(GCN)が実際よりも優れた性能を実現できることを実証的に見出した。
論文 参考訳(メタデータ) (2021-06-11T02:44:00Z) - Improving Graph Neural Network Expressivity via Subgraph Isomorphism
Counting [63.04999833264299]
グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。
Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。
グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
論文 参考訳(メタデータ) (2020-06-16T15:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。