論文の概要: Learnable Graph Convolutional Attention Networks
- arxiv url: http://arxiv.org/abs/2211.11853v1
- Date: Mon, 21 Nov 2022 21:08:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:46:08.886236
- Title: Learnable Graph Convolutional Attention Networks
- Title(参考訳): 学習可能なグラフ畳み込み注意ネットワーク
- Authors: Adri\'an Javaloy, Pablo Sanchez-Martin, Amit Levi and Isabel Valera
- Abstract要約: グラフニューラルネットワーク(GNN)は、ノード間のメッセージ交換を、隣接するすべてのノードの特徴を均一に(関連する)集約するか、あるいは特徴に一様でないスコア(動作)を適用することによって計算する。
最近の研究は、それぞれGCNとGATのGNNアーキテクチャの長所と短所を示している。
本稿では、注目スコアを計算するために、畳み込みに依存するグラフ畳み込みアテンション層(CAT)を紹介する。
以上の結果から,L-CATはネットワーク上の異なるGNN層を効率よく結合し,競合する手法よりも広い範囲で優れた性能を発揮することが示された。
- 参考スコア(独自算出の注目度): 7.465923786151107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Graph Neural Networks (GNNs) compute the message exchange between
nodes by either aggregating uniformly (convolving) the features of all the
neighboring nodes, or by applying a non-uniform score (attending) to the
features. Recent works have shown the strengths and weaknesses of the resulting
GNN architectures, respectively, GCNs and GATs. In this work, we aim at
exploiting the strengths of both approaches to their full extent. To this end,
we first introduce the graph convolutional attention layer (CAT), which relies
on convolutions to compute the attention scores. Unfortunately, as in the case
of GCNs and GATs, we show that there exists no clear winner between the three
(neither theoretically nor in practice) as their performance directly depends
on the nature of the data (i.e., of the graph and features). This result brings
us to the main contribution of our work, the learnable graph convolutional
attention network (L-CAT): a GNN architecture that automatically interpolates
between GCN, GAT and CAT in each layer, by adding only two scalar parameters.
Our results demonstrate that L-CAT is able to efficiently combine different GNN
layers along the network, outperforming competing methods in a wide range of
datasets, and resulting in a more robust model that reduces the need of
cross-validating.
- Abstract(参考訳): 既存のグラフニューラルネットワーク(GNN)は、ノード間のメッセージ交換を、近隣のすべてのノードの特徴を均一に(関連する)集約するか、あるいは特徴に一様でないスコア(到達)を適用することによって計算する。
最近の研究は、それぞれGCNとGATのGNNアーキテクチャの長所と短所を示している。
本研究では,両アプローチの強みを最大限に活用することを目的とする。
この目的のために、まず、注目スコアを計算するために畳み込みに依存するグラフ畳み込み注意層(CAT)を導入する。
残念なことに、GCN や GAT の場合と同様に、それらの性能はデータの性質(すなわち、グラフと特徴)に直接依存するため、三つの間に明確な勝者は存在しない(理論上も実際も)。
学習可能なグラフ畳み込みアテンションネットワーク(L-CAT: learnable graph convolutional attention network)は、GCN, GAT, CATを2つのスカラーパラメータだけを加えることで、各レイヤで自動的に補間するGNNアーキテクチャである。
その結果、l-catはネットワーク上で異なるgnn層を効率的に結合でき、幅広いデータセットで競合するメソッドよりも優れており、結果としてクロスバリデーションの必要性を低減できるより堅牢なモデルが得られた。
関連論文リスト
- 2-hop Neighbor Class Similarity (2NCS): A graph structural metric
indicative of graph neural network performance [4.051099980410583]
グラフニューラルネットワーク(GNN)は、多数のドメインにわたるグラフ構造化データに対して最先端のパフォーマンスを実現する。
異なるタイプのノードが接続されるヘテロ親和性グラフでは、GNNは一貫して機能しない。
2-hop Neighbor Class similarity (2NCS) は、GNNのパフォーマンスと、他の指標よりも強く、一貫して相関する新しい定量的グラフ構造特性である。
論文 参考訳(メタデータ) (2022-12-26T16:16:51Z) - Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with
Heterophily [58.76759997223951]
我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。
また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
論文 参考訳(メタデータ) (2022-03-19T14:26:43Z) - Graph Attention Networks with Positional Embeddings [7.552100672006174]
グラフニューラルネットワーク(GNN)は、ノード分類タスクにおける芸術的パフォーマンスの現在の状態を提供するディープラーニング手法である。
本論文では,GATを位置埋め込みで強化するフレームワークであるG Graph Attentional Networks with Positional Embeddings(GAT-POS)を提案する。
GAT-POSは、強いGNNベースラインや、非ホモフィルグラフ上の最近の構造埋め込み強化GNNと比較して著しく改善されている。
論文 参考訳(メタデータ) (2021-05-09T22:13:46Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳(メタデータ) (2021-02-12T21:52:43Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳(メタデータ) (2020-11-19T06:03:35Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳(メタデータ) (2020-08-31T23:15:40Z) - Graph Clustering with Graph Neural Networks [5.305362965553278]
グラフニューラルネットワーク(GNN)は多くのグラフ解析タスクにおいて最先端の結果を得た。
グラフクラスタリングのようなグラフ上の教師なしの問題は、GNNの進歩に対してより抵抗性があることが証明されている。
本稿では,クラスタリング品質のモジュラリティ尺度にインスパイアされた教師なしプール手法であるDeep Modularity Networks (DMoN)を紹介する。
論文 参考訳(メタデータ) (2020-06-30T15:30:49Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-09T16:26:43Z) - An Uncoupled Training Architecture for Large Graph Learning [20.784230322205232]
グラフデータをグリッドライクなデータに埋め込むための、柔軟なアンカップリングトレーニングフレームワークであるNode2Gridsを紹介します。
各ノードの影響を次々にランク付けすることで、Node2Gridsは最も影響力のある1階と、中央ノードの融合情報を持つ2階の隣人を選択する。
下流タスクの効率をさらに向上するために、単純なCNNベースのニューラルネットワークを使用して、マッピングされたグリッドのようなデータから重要な情報をキャプチャする。
論文 参考訳(メタデータ) (2020-03-21T11:49:16Z) - Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。
本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。
このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
論文 参考訳(メタデータ) (2020-02-10T06:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。