論文の概要: How Attentive are Graph Attention Networks?

• arxiv url: http://arxiv.org/abs/2105.14491v1
• Date: Sun, 30 May 2021 10:17:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:04:56.956363
• Title: How Attentive are Graph Attention Networks?
• Title（参考訳）: グラフ注意ネットワークはどの程度注意すべきか?
• Authors: Shaked Brody, Uri Alon, Eran Yahav
• Abstract要約: グラフ注意ネットワーク(GAT)は、グラフを用いた表現学習のための最先端アーキテクチャであると考えられている。 本稿では,クエリノード上でのノードのランク付けが無条件である場合,GATは制限された種類の注意しか処理できないことを示す。 我々は、この制限された注意を静的な注意と定義し、より表現力のあるダイナミックな注意と区別する。
• 参考スコア（独自算出の注目度）: 16.414807719524084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Attention Networks (GATs) are one of the most popular GNN architectures and are considered as the state-of-the-art architecture for representation learning with graphs. In GAT, every node attends to its neighbors given its own representation as the query. However, in this paper we show that GATs can only compute a restricted kind of attention where the ranking of attended nodes is unconditioned on the query node. We formally define this restricted kind of attention as static attention and distinguish it from a strictly more expressive dynamic attention. Because GATs use a static attention mechanism, there are simple graph problems that GAT cannot express: in a controlled problem, we show that static attention hinders GAT from even fitting the training data. To remove this limitation, we introduce a simple fix by modifying the order of operations and propose GATv2: a dynamic graph attention variant that is strictly more expressive than GAT. We perform an extensive evaluation and show that GATv2 outperforms GAT across 11 OGB and other benchmarks while we match their parametric costs. Our code is available at https://github.com/tech-srl/how_attentive_are_gats .
• Abstract（参考訳）: グラフ注意ネットワーク(GAT)は最も人気のあるGNNアーキテクチャの1つであり、グラフを用いた表現学習のための最先端アーキテクチャであると考えられている。 GATでは、各ノードは、クエリとして独自の表現を与えられた隣人に出席する。 しかし,本論文では,gatsはクエリノード上でのノードのランキングが無条件の場合にのみ制限された注意値を計算することができることを示す。 我々は、この制限された注意を静的な注意と定義し、より表現力のあるダイナミックな注意と区別する。 GATは静的アテンション機構を使用するため、GATが表現できない単純なグラフ問題があり、制御された問題では、静的アテンションがGATのトレーニングデータへの適合を妨げていることを示す。 この制限を取り除くため、操作順序を変更して簡単な修正を導入し、GATよりも厳密に表現可能な動的グラフアテンション変種であるGATv2を提案する。 GATv2は11OGBや他のベンチマークでGATよりも優れており、パラメトリックコストに適合していることを示す。 私たちのコードはhttps://github.com/tech-srl/how_attentive_are_gatsで利用可能です。

関連論文リスト

• Representation Learning on Heterophilic Graph with Directional Neighborhood Attention [8.493802098034255]
  Graph Attention Network(GAT)は、最も人気のあるGraph Neural Network(GNN)アーキテクチャの1つである。 GATは、長距離およびグローバルグラフ情報をキャプチャする能力に欠けており、いくつかのデータセットで不満足なパフォーマンスをもたらす。 本稿では,特徴に基づく注意と,グラフトポロジから抽出したグローバルな方向性情報を組み合わせるために,DGAT(Directional Graph Attention Network)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T10:59:16Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• Learnable Graph Convolutional Attention Networks [7.465923786151107]
  グラフニューラルネットワーク(GNN)は、ノード間のメッセージ交換を、隣接するすべてのノードの特徴を均一に(関連する)集約するか、あるいは特徴に一様でないスコア(動作)を適用することによって計算する。 最近の研究は、それぞれGCNとGATのGNNアーキテクチャの長所と短所を示している。 本稿では、注目スコアを計算するために、畳み込みに依存するグラフ畳み込みアテンション層(CAT)を紹介する。 以上の結果から,L-CATはネットワーク上の異なるGNN層を効率よく結合し,競合する手法よりも広い範囲で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-11-21T21:08:58Z)
• Spiking GATs: Learning Graph Attentions via Spiking Neural Network [14.573383849211773]
  グラフデータ表現と学習のための新しいグラフスパイキング注意ネットワーク(GSAT)を提案する。 既存のGATの自己保持機構とは対照的に,提案したGSATでは,エネルギー効率のよいSNNモジュールアーキテクチャを採用している。 いくつかのデータセットに対する実験結果は、提案したGSATモデルの有効性、エネルギー効率、ロバスト性を示している。
  論文  参考訳（メタデータ） (2022-09-05T01:18:12Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• A Robust graph attention network with dynamic adjusted Graph [10.018618900018431]
  グラフ注意ネットワーク(GAT)は、グラフデータを扱うために有用なディープラーニングモデルである。 近年の研究では、古典的なGATは敵の攻撃に弱いことが示されている。 本稿では,アテンション機構の改訂に基づき,ロバストGATを用いてGATのロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:10:09Z)
• Adversarial Attack on Large Scale Graph [58.741365277995044]
  近年の研究では、グラフニューラルネットワーク(GNN)は堅牢性の欠如により摂動に弱いことが示されている。 現在、GNN攻撃に関するほとんどの研究は、主に攻撃を誘導し、優れたパフォーマンスを達成するために勾配情報を使用している。 主な理由は、攻撃にグラフ全体を使わなければならないため、データスケールが大きくなるにつれて、時間と空間の複雑さが増大するからです。 本稿では,グラフデータに対する敵攻撃の影響を測定するために,DAC(Degree Assortativity Change)という実用的な指標を提案する。
  論文  参考訳（メタデータ） (2020-09-08T02:17:55Z)
• Inverse Graph Identification: Can We Identify Node Labels Given Graph Labels? [89.13567439679709]
  グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。 本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。 本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T12:06:17Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)
• Graph Representation Learning Network via Adaptive Sampling [4.996520403438455]
  Graph Attention Network(GAT)とGraphSAGEは、グラフ構造化データを操作するニューラルネットワークアーキテクチャである。 GraphSAGEが提起した課題のひとつは、グラフ構造に基づいた隣の機能をスマートに組み合わせる方法だ。 より効率的で,異なるエッジ型情報を組み込むことが可能な,これらの問題に対処する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-06-08T14:36:20Z)
• Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
  スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。 固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
  論文  参考訳（メタデータ） (2020-03-16T21:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。