論文の概要: Graph Attention Retrospective
- arxiv url: http://arxiv.org/abs/2202.13060v5
- Date: Mon, 22 May 2023 01:48:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 06:23:35.825128
- Title: Graph Attention Retrospective
- Title（参考訳）: グラフ注目の振り返り
- Authors: Kimon Fountoulakis, Amit Levi, Shenghao Yang, Aseem Baranwal, Aukosh
Jagannath
- Abstract要約: グラフベースの学習は、ソーシャルネットワーク、引用ネットワーク、バイオインフォマティクスに応用された機械学習の急速に成長するサブフィールドである。
本稿では,グラフ注意ネットワークの挙動を理論的に検討する。
ガウスの手段間の距離が十分大きい「容易」な体制では、グラフの注意はクラス内縁とクラス間縁を区別することができる。
硬い」体制では、すべての注意機構がクラス内エッジとクラス間エッジを区別できないことを示す。
- 参考スコア（独自算出の注目度）: 14.52271219759284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph-based learning is a rapidly growing sub-field of machine learning with
applications in social networks, citation networks, and bioinformatics. One of
the most popular models is graph attention networks. They were introduced to
allow a node to aggregate information from features of neighbor nodes in a
non-uniform way, in contrast to simple graph convolution which does not
distinguish the neighbors of a node. In this paper, we theoretically study the
behaviour of graph attention networks. We prove multiple results on the
performance of the graph attention mechanism for the problem of node
classification for a contextual stochastic block model. Here, the node features
are obtained from a mixture of Gaussians and the edges from a stochastic block
model. We show that in an "easy" regime, where the distance between the means
of the Gaussians is large enough, graph attention is able to distinguish
inter-class from intra-class edges. Thus it maintains the weights of important
edges and significantly reduces the weights of unimportant edges. Consequently,
we show that this implies perfect node classification. In the "hard" regime, we
show that every attention mechanism fails to distinguish intra-class from
inter-class edges. In addition, we show that graph attention convolution cannot
(almost) perfectly classify the nodes even if intra-class edges could be
separated from inter-class edges. Beyond perfect node classification, we
provide a positive result on graph attention's robustness against structural
noise in the graph. In particular, our robustness result implies that graph
attention can be strictly better than both the simple graph convolution and the
best linear classifier of node features. We evaluate our theoretical results on
synthetic and real-world data.
- Abstract（参考訳）: グラフベースの学習は、ソーシャルネットワーク、引用ネットワーク、バイオインフォマティクスに応用された機械学習の急速に成長するサブフィールドである。
最も人気のあるモデルはグラフアテンションネットワークである。
これらは、ノードの隣接ノードを区別しない単純なグラフ畳み込みとは対照的に、隣接ノードの特徴から情報を一様でない方法で集約するために導入された。
本稿では,グラフ注意ネットワークの挙動を理論的に検討する。
本研究では,文脈確率ブロックモデルにおけるノード分類問題に対するグラフ注意機構の性能に関する複数の結果を示す。
ここで、ノードの特徴は、確率ブロックモデルからガウスとエッジの混合から得られる。
ガウスの手段間の距離が十分大きい「容易」な体制では、グラフの注意はクラス内縁とクラス間縁を区別することができる。
したがって、重要なエッジの重みを維持し、重要でないエッジの重みを著しく減少させる。
その結果,ノード分類が完全であることが示唆された。
ハード」では全ての注意機構がクラス内エッジとクラス間エッジを区別できないことを示す。
さらに,クラス内エッジをクラス間エッジから分離しても,グラフアテンションの畳み込みは(ほとんど)ノードを完全に分類できないことを示す。
完全ノード分類以外にも,グラフにおける構造雑音に対するグラフ注意の頑健性について肯定的な結果を与える。
特に、ロバスト性は、単純なグラフ畳み込みとノード特徴の最良の線形分類器の両方よりも、グラフの注意が厳密に良いことを示している。
合成データと実世界のデータから理論的結果を評価する。
関連論文リスト
- Saliency-Aware Regularized Graph Neural Network [39.82009838086267]
グラフ分類のためのSAR-GNN(Saliency-Aware Regularized Graph Neural Network)を提案する。
まず,コンパクトなグラフ表現とノード特徴とのセマンティックな類似性を測定することで,グローバルノードの正当性を推定する。
そして、学習した塩分濃度分布を利用して、背骨の近傍集合を規則化する。
論文 参考訳（メタデータ） (2024-01-01T13:44:16Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - On Classification Thresholds for Graph Attention with Edge Features [26.01769042481568]
我々は,古典的分類課題におけるグラフ注意ネットワークとノードの正確なラベル付け能力を分析し,理論的,実証的に分析する。
注意係数を決定するためにランダムエッジ特徴を入力とする一般グラフアテンション機構を考察する。
論文 参考訳（メタデータ） (2022-10-18T17:32:18Z) - Neighborhood Random Walk Graph Sampling for Regularized Bayesian Graph
Convolutional Neural Networks [0.6236890292833384]
本稿では,近隣ランダムウォークサンプリング(BGCN-NRWS)を用いたベイジアングラフ畳み込みネットワーク(Bayesian Graph Convolutional Network)を提案する。
BGCN-NRWSは、グラフ構造を利用したマルコフ・チェイン・モンテカルロ(MCMC)に基づくグラフサンプリングアルゴリズムを使用し、変分推論層を用いてオーバーフィッティングを低減し、半教師付きノード分類における最先端と比較して一貫して競合する分類結果を得る。
論文 参考訳（メタデータ） (2021-12-14T20:58:27Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳（メタデータ） (2021-12-14T14:48:08Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳（メタデータ） (2021-11-19T08:54:21Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳（メタデータ） (2021-09-24T08:01:23Z) - Graph Decoupling Attention Markov Networks for Semi-supervised Graph
Node Classification [38.52231889960877]
グラフニューラルネットワーク(GNN)は、ノード分類などのグラフ学習タスクにおいてユビキタスである。
本稿では,グラフノードのラベル依存を考察し,ハードとソフトの両方の注意を学ぶための分離注意機構を提案する。
論文 参考訳（メタデータ） (2021-04-28T11:44:13Z) - Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。
HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。
ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-04-16T04:56:38Z) - Line Graph Neural Networks for Link Prediction [71.00689542259052]
実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。
このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。
本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。
特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
論文 参考訳（メタデータ） (2020-10-20T05:54:31Z) - Graph Pooling with Node Proximity for Hierarchical Representation
Learning [80.62181998314547]
本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。
その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳（メタデータ） (2020-06-19T13:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。