論文の概要: Graph Classification with GNNs: Optimisation, Representation and Inductive Bias

• arxiv url: http://arxiv.org/abs/2408.09266v2
• Date: Fri, 23 Aug 2024 09:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 17:10:58.742604
• Title: Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
• Title（参考訳）: GNNを用いたグラフ分類:最適化,表現,誘導バイアス
• Authors: P. Krishna Kumar a, Harish G. Ramaswamy,
• Abstract要約: このような等価性は、付随する最適化問題を無視するものであり、GNN学習プロセスの全体像を提供するものではない、と我々は主張する。 理論的には、グラフ内のメッセージパッシング層は、識別サブグラフか、あるいはグラフ全体に分散した識別ノードの集合を探索する傾向にあることを証明している。
• 参考スコア（独自算出の注目度）: 0.6445605125467572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Theoretical studies on the representation power of GNNs have been centered around understanding the equivalence of GNNs, using WL-Tests for detecting graph isomorphism. In this paper, we argue that such equivalence ignores the accompanying optimization issues and does not provide a holistic view of the GNN learning process. We illustrate these gaps between representation and optimization with examples and experiments. We also explore the existence of an implicit inductive bias (e.g. fully connected networks prefer to learn low frequency functions in their input space) in GNNs, in the context of graph classification tasks. We further prove theoretically that the message-passing layers in the graph, have a tendency to search for either discriminative subgraphs, or a collection of discriminative nodes dispersed across the graph, depending on the different global pooling layers used. We empirically verify this bias through experiments over real-world and synthetic datasets. Finally, we show how our work can help in incorporating domain knowledge via attention based architectures, and can evince their capability to discriminate coherent subgraphs.
• Abstract（参考訳）: GNNの表現力に関する理論的研究は、グラフ同型を検出するためにWL-Testsを用いて、GNNの同値性を理解することに集中している。 本稿では、そのような等価性は、付随する最適化問題を無視するものであり、GNN学習プロセスの全体像を提供するものではないと論じる。 本稿では、これらの表現と最適化のギャップを例と実験で説明する。 また、グラフ分類タスクの文脈において、GNNにおける暗黙的帰納バイアス(例えば、完全連結ネットワークは入力空間で低周波関数を学習することを好む)の存在についても検討する。 さらに、グラフ内のメッセージパッシング層は、使用する異なるグローバルプーリング層に依存して、識別サブグラフまたはグラフ全体に分散する識別ノードの集合を探索する傾向にあることを理論的に証明する。 実世界および合成データセット上での実験を通して、このバイアスを実証的に検証する。 最後に、我々の研究は、注目に基づくアーキテクチャを通してドメイン知識を取り入れ、コヒーレントなサブグラフを識別する能力を高めるのにどのように役立つかを示す。

関連論文リスト

• Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks [4.235378870514331]
  グラフネットワーク(GNN)は、グラフ表現学習において支配的なアプローチとして現れている。 ニューラルネットワーク手法とカーネルアプローチのギャップを橋渡しし、GNNが学習した表現の構造を一貫してキャプチャできるようにすることで、そのギャップを埋める。 これらの知見に触発されて、GNN層間のグラフ表現の類似性の整合性は、関係構造を捕捉し、グラフ分類性能を向上させる上で重要であると推測した。
  論文  参考訳（メタデータ） (2024-10-31T09:07:08Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Contextualized Messages Boost Graph Representations [1.5178009359320295]
  本稿では,グラフネットワーク(GNN)がグラフとして表現される可能性のあるデータを処理する能力について検討する。 これは、すべてのレベルの能力について調査されているGNNはごくわずかであることを示している。 SIRGCNと広く使われているGNNの関係を数学的に議論し、コントリビューションを文脈に組み込む。
  論文  参考訳（メタデータ） (2024-03-19T08:05:49Z)
• Generalization Limits of Graph Neural Networks in Identity Effects Learning [12.302336258860116]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフドメインでデータ駆動学習を行う強力なツールとして登場した。 我々は、いわゆるアイデンティティ効果の学習において、GNNの新たな一般化特性と基本的限界を確立する。 我々の研究は、単純な認知タスクを行う際に、GNNの能力を理解する必要性によって動機付けられている。
  論文  参考訳（メタデータ） (2023-06-30T20:56:38Z)
• Representation Power of Graph Neural Networks: Improved Expressivity via Algebraic Analysis [124.97061497512804]
  標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。 また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
  論文  参考訳（メタデータ） (2022-05-19T18:40:25Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
  異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。 具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。 グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
  論文  参考訳（メタデータ） (2022-02-14T23:07:47Z)
• Fair Node Representation Learning via Adaptive Data Augmentation [9.492903649862761]
  この研究は、グラフニューラルネットワーク(GNN)を用いて得られるノード表現のバイアス源を理論的に説明する。 この分析に基づいて、本質的なバイアスを低減するために、公正に意識したデータ拡張フレームワークを開発した。 分析と提案手法は,様々なGNN学習機構の公平性を高めるために容易に利用できる。
  論文  参考訳（メタデータ） (2022-01-21T05:49:15Z)
• Is Homophily a Necessity for Graph Neural Networks? [50.959340355849896]
  グラフニューラルネットワーク(GNN)は、多数のグラフベースの機械学習タスクに適した学習表現において大きな進歩を見せている。 GNNはホモフィリーな仮定によりうまく機能し、異種ノードが接続する異種グラフへの一般化に失敗したと広く信じられている。 最近の研究は、このような不均一な制限を克服する新しいアーキテクチャを設計し、ベースライン性能の低さと、この概念の証拠として、いくつかの異種グラフベンチマークデータセットに対するアーキテクチャの改善を引用している。 我々の実験では、標準グラフ畳み込みネットワーク(GCN)が実際よりも優れた性能を実現できることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-06-11T02:44:00Z)
• Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting [63.04999833264299]
  グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。 Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。 グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T15:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。