論文の概要: Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2410.23748v1
- Date: Thu, 31 Oct 2024 09:07:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:02:55.559081
- Title: Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks
- Title（参考訳）: グラフ表現における一貫性の探索:グラフカーネルからグラフニューラルネットワークへ
- Authors: Xuyuan Liu, Yinghao Cai, Qihui Yang, Yujun Yan,
- Abstract要約: グラフネットワーク(GNN)は、グラフ表現学習において支配的なアプローチとして現れている。
ニューラルネットワーク手法とカーネルアプローチのギャップを橋渡しし、GNNが学習した表現の構造を一貫してキャプチャできるようにすることで、そのギャップを埋める。
これらの知見に触発されて、GNN層間のグラフ表現の類似性の整合性は、関係構造を捕捉し、グラフ分類性能を向上させる上で重要であると推測した。
- 参考スコア（独自算出の注目度）: 4.235378870514331
- License:
- Abstract: Graph Neural Networks (GNNs) have emerged as a dominant approach in graph representation learning, yet they often struggle to capture consistent similarity relationships among graphs. While graph kernel methods such as the Weisfeiler-Lehman subtree (WL-subtree) and Weisfeiler-Lehman optimal assignment (WLOA) kernels are effective in capturing similarity relationships, they rely heavily on predefined kernels and lack sufficient non-linearity for more complex data patterns. Our work aims to bridge the gap between neural network methods and kernel approaches by enabling GNNs to consistently capture relational structures in their learned representations. Given the analogy between the message-passing process of GNNs and WL algorithms, we thoroughly compare and analyze the properties of WL-subtree and WLOA kernels. We find that the similarities captured by WLOA at different iterations are asymptotically consistent, ensuring that similar graphs remain similar in subsequent iterations, thereby leading to superior performance over the WL-subtree kernel. Inspired by these findings, we conjecture that the consistency in the similarities of graph representations across GNN layers is crucial in capturing relational structures and enhancing graph classification performance. Thus, we propose a loss to enforce the similarity of graph representations to be consistent across different layers. Our empirical analysis verifies our conjecture and shows that our proposed consistency loss can significantly enhance graph classification performance across several GNN backbones on various datasets.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現学習において支配的なアプローチとして現れてきたが、グラフ間の一貫した類似性関係を捉えるのにしばしば苦労している。
Weisfeiler-Lehman subtree (WL-subtree) や Weisfeiler-Lehman optimal assignment (WLOA) のようなグラフカーネルの手法は類似性関係を捉えるのに有効であるが、事前に定義されたカーネルに依存しており、より複雑なデータパターンに対して十分な非線形性を持たない。
我々の研究は、ニューラルネットワーク手法とカーネルアプローチのギャップを埋めることを目的としており、GNNは学習した表現におけるリレーショナル構造を一貫してキャプチャすることができる。
GNNのメッセージパッシングプロセスとWLアルゴリズムの類似性を考えると、WLサブツリーとWLOAカーネルの特性を徹底的に比較し分析する。
WLOAが異なるイテレーションで取得した類似性は漸近的に一貫したものであり、類似したグラフがその後のイテレーションで類似していることを保証し、WL-サブツリーカーネルよりも優れた性能をもたらす。
これらの知見に触発されて、GNN層間のグラフ表現の類似性の整合性は、関係構造を捕捉し、グラフ分類性能を向上させる上で重要であると推測した。
そこで本稿では,グラフ表現の類似性を異なる層に分散させる損失を提案する。
提案した一貫性損失は,GNNバックボーン間のグラフ分類性能を大幅に向上させることができることを示す。
関連論文リスト
- SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。
本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。
また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
論文 参考訳（メタデータ） (2024-04-21T13:11:59Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - Uplifting the Expressive Power of Graph Neural Networks through Graph
Partitioning [3.236774847052122]
グラフ分割のレンズによるグラフニューラルネットワークの表現力について検討する。
我々は新しいGNNアーキテクチャ、すなわちグラフ分割ニューラルネットワーク(GPNN)を導入する。
論文 参考訳（メタデータ） (2023-12-14T06:08:35Z) - Neural Tangent Kernels Motivate Graph Neural Networks with
Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。
その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。
これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文 参考訳（メタデータ） (2023-10-16T19:54:21Z) - CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph
Similarity Learning [65.1042892570989]
自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。
我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。
我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
論文 参考訳（メタデータ） (2022-05-30T13:20:26Z) - Representation Power of Graph Neural Networks: Improved Expressivity via
Algebraic Analysis [124.97061497512804]
標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。
また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
論文 参考訳（メタデータ） (2022-05-19T18:40:25Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳（メタデータ） (2021-11-19T08:54:21Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳（メタデータ） (2020-11-19T06:03:35Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-07-08T19:48:19Z) - Graph Clustering with Graph Neural Networks [5.305362965553278]
グラフニューラルネットワーク(GNN)は多くのグラフ解析タスクにおいて最先端の結果を得た。
グラフクラスタリングのようなグラフ上の教師なしの問題は、GNNの進歩に対してより抵抗性があることが証明されている。
本稿では,クラスタリング品質のモジュラリティ尺度にインスパイアされた教師なしプール手法であるDeep Modularity Networks (DMoN)を紹介する。
論文 参考訳（メタデータ） (2020-06-30T15:30:49Z) - Graph Neural Networks with Composite Kernels [60.81504431653264]
カーネル重み付けの観点からノード集約を再解釈する。
本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。
特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
論文 参考訳（メタデータ） (2020-05-16T04:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。