論文の概要: Towards Deep Attention in Graph Neural Networks: Problems and Remedies

• arxiv url: http://arxiv.org/abs/2306.02376v1
• Date: Sun, 4 Jun 2023 15:19:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 18:16:23.709491
• Title: Towards Deep Attention in Graph Neural Networks: Problems and Remedies
• Title（参考訳）: グラフニューラルネットワークにおける深い注意:問題と対策
• Authors: Soo Yong Lee, Fanchen Bu, Jaemin Yoo, Kijung Shin
• Abstract要約: グラフニューラルネットワーク(GNN)はグラフ構造化データの表現を学習し、その表現性は伝播のためのノード関係を推論することによって向上することができる。 本稿では,過度に平滑な特徴に対する脆弱性やスムーズな累積的注意など,グラフの深い注意に関連するいくつかの問題現象について検討する。 AEROGNNはグラフの注目度を高めるために設計された新しいGNNアーキテクチャである。
• 参考スコア（独自算出の注目度）: 15.36416000750147
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph neural networks (GNNs) learn the representation of graph-structured data, and their expressiveness can be further enhanced by inferring node relations for propagation. Attention-based GNNs infer neighbor importance to manipulate the weight of its propagation. Despite their popularity, the discussion on deep graph attention and its unique challenges has been limited. In this work, we investigate some problematic phenomena related to deep graph attention, including vulnerability to over-smoothed features and smooth cumulative attention. Through theoretical and empirical analyses, we show that various attention-based GNNs suffer from these problems. Motivated by our findings, we propose AEROGNN, a novel GNN architecture designed for deep graph attention. AERO-GNN provably mitigates the proposed problems of deep graph attention, which is further empirically demonstrated with (a) its adaptive and less smooth attention functions and (b) higher performance at deep layers (up to 64). On 9 out of 12 node classification benchmarks, AERO-GNN outperforms the baseline GNNs, highlighting the advantages of deep graph attention. Our code is available at https://github.com/syleeheal/AERO-GNN.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ構造化データの表現を学習し、その表現性は伝播のためのノード関係を推論することによってさらに向上することができる。 注意に基づくGNNは、その伝播の重みを操作するために隣り合う重要性を推測する。 その人気にもかかわらず、ディープグラフの注目とユニークな課題に関する議論は限られている。 本研究では,過剰な特徴量に対する脆弱性や滑らかな累積的注意など,深いグラフの注意に関連するいくつかの問題について検討する。 理論および実証分析により,様々な注意に基づくgnnがこれらの問題に苦しむことが示された。 AEROGNNはグラフの注目度を高めるために設計された新しいGNNアーキテクチャである。 AERO-GNNは、より実験的に示されたディープグラフアテンションの問題を確実に緩和する (a)その適応的かつ円滑な注意機能及び (b)深層(最大64)での高性能化。 12のノード分類ベンチマークのうち9つで、AERO-GNNはベースラインのGNNよりも優れており、ディープグラフの利点を強調している。 私たちのコードはhttps://github.com/syleeheal/AERO-GNNで公開されています。

関連論文リスト

• Neighbor Overlay-Induced Graph Attention Network [5.792501481702088]
  グラフニューラルネットワーク(GNN)は、グラフデータを表現できることから、大きな注目を集めている。 本研究は、次の2つのアイデアを持つ、隣接するオーバーレイ誘発グラフアテンションネットワーク(NO-GAT)を提案する。 グラフベンチマークデータセットに関する実証研究は、提案されたNO-GATが最先端モデルより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-16T15:01:28Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Improving Your Graph Neural Networks: A High-Frequency Booster [20.391179274946214]
  元のグラフの補グラフにはハイパスフィルタが組み込まれており、高周波数成分の効率的な増強を目的とした補完ラプラシアン正規化(CLAR)を提案する。 実験の結果、CLARはGNNが過剰な平滑化に取り組むのに役立ち、異種グラフの表現性を向上することを示した。
  論文  参考訳（メタデータ） (2022-10-15T10:24:28Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective [44.96635754139024]
  オーバースムーシングは、深いGNNの性能を制限する重要な問題の1つとして特定されている。 本稿では, 深部GNNの性能劣化, すなわち, 機能の過度な相関について考察する。 特徴相関を低減するために,GNNが冗長な情報をエンコードすることを促進できる汎用フレームワークであるDeCorrを提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:13:52Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Understanding Graph Neural Networks from Graph Signal Denoising Perspectives [27.148827305359436]
  グラフニューラルネットワーク(GNN)は,ノード分類などのタスクの性能に優れていたため,注目されている。 本稿では,GNN,具体的にはスペクトルグラフ畳み込みネットワークとグラフアテンションネットワークを理解するための理論的枠組みを提供することを目的とする。
  論文  参考訳（メタデータ） (2020-06-08T07:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。