論文の概要: Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions
- arxiv url: http://arxiv.org/abs/2205.07266v2
- Date: Tue, 17 May 2022 06:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 11:07:18.769663
- Title: Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions
- Title（参考訳）: 多階相互作用によるグラフニューラルネットワークの表現基盤の発見
- Authors: Fang Wu, Siyuan Li, Lirong Wu, Stan Z. Li, Dragomir Radev, Qiang Zhang
- Abstract要約: グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
- 参考スコア（独自算出の注目度）: 51.597480162777074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most graph neural networks (GNNs) rely on the message passing paradigm to
propagate node features and build interactions. Recent works point out that
different graph learning tasks require different ranges of interactions between
nodes. To investigate its underlying mechanism, we explore the capacity of GNNs
to capture pairwise interactions between nodes under contexts with different
complexities, especially for their graph-level and node-level applications in
scientific domains like biochemistry and physics. When formulating pairwise
interactions, we study two common graph construction methods in scientific
domains, i.e., \emph{K-nearest neighbor} (KNN) graphs and
\emph{fully-connected} (FC) graphs. Furthermore, we demonstrate that the
inductive bias introduced by KNN-graphs and FC-graphs hinders GNNs to learn the
most informative order of interactions. {Such a phenomenon is broadly shared by
several GNNs for different graph learning tasks and forbids GNNs to achieve the
global minimum loss, so we name it a \emph{representation bottleneck}.} To
overcome that, we propose a novel graph rewiring approach based on the pairwise
interaction strengths to dynamically adjust the reception fields of each node.
Extensive experiments in molecular property prediction and dynamic system
forecast prove the superiority of our method over state-of-the-art GNN
baselines. More importantly, this paper provides a reasonable explanation of
why subgraphs play an important role in the determination of graph properties.
- Abstract（参考訳）: ほとんどのグラフニューラルネットワーク(GNN)は、ノードの特徴を伝達し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の相互作用の幅が異なることを指摘している。
その根底にあるメカニズムを調べるため、gnnは複雑度が異なる状況下で、特に生物化学や物理学などの科学分野におけるグラフレベルおよびノードレベルの応用において、ノード間の対的な相互作用を捉えることができる。
ペアワイズ相互作用を定式化する際には、科学領域における2つの共通グラフ構築法、すなわち \emph{K-nearest neighbor} (KNN) グラフと \emph{fully-connected} (FC) グラフを研究する。
さらに、KNNグラフとFCグラフが導入した帰納バイアスは、GNNが最も情報に富む相互作用の順序を知るのを妨げることを示した。
このような現象は、異なるグラフ学習タスクのために複数のgnnによって広く共有され、グローバル最小損失を達成するためにgnnを禁止するので、これを \emph{representation bottleneck} と呼ぶ。
そこで本研究では,各ノードの受信フィールドを動的に調整する,ペアの相互作用強度に基づくグラフ再構成手法を提案する。
分子特性予測と動的システム予測に関する広範な実験により,最先端のgnnベースラインよりも優れた手法が証明された。
より重要なことは、なぜサブグラフがグラフ特性の決定において重要な役割を果たすのかを合理的に説明することである。
関連論文リスト
- Learning From Graph-Structured Data: Addressing Design Issues and Exploring Practical Applications in Graph Representation Learning [2.492884361833709]
グラフ表現学習とグラフニューラルネットワーク(GNN)の最近の進歩を概観する。
グラフ構造化データを扱うように設計されたGNNは、複雑な関係情報から洞察と予測を引き出すのに長けている。
我々の研究は、GNNの能力を掘り下げ、その基礎設計と現実の課題に対処するための応用について調べている。
論文 参考訳（メタデータ） (2024-11-09T19:10:33Z) - Harnessing Collective Structure Knowledge in Data Augmentation for Graph Neural Networks [25.12261412297796]
グラフニューラルネットワーク(GNN)は,グラフ表現学習において最先端のパフォーマンスを達成した。
我々は新しいアプローチ、すなわち集合構造知識強化グラフニューラルネットワーク(CoS-GNN)を提案する。
論文 参考訳（メタデータ） (2024-05-17T08:50:00Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。
これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。
4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-05-31T10:38:04Z) - Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。
具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。
グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
論文 参考訳（メタデータ） (2022-02-14T23:07:47Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳（メタデータ） (2021-11-19T08:54:21Z) - Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。
本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。
14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2020-10-01T07:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。