論文の概要: Multi-hop Attention Graph Neural Network

• arxiv url: http://arxiv.org/abs/2009.14332v5
• Date: Wed, 25 Aug 2021 20:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 05:45:40.369007
• Title: Multi-hop Attention Graph Neural Network
• Title（参考訳）: マルチホップ注意グラフニューラルネットワーク
• Authors: Guangtao Wang, Rex Ying, Jing Huang, Jure Leskovec
• Abstract要約: マルチホップアテンショングラフニューラルネットワーク(MAGNA)は、マルチホップコンテキスト情報を注目計算のすべての層に組み込む方法である。 MAGNAは各層における大規模構造情報を捕捉し,低域効果によりグラフデータからノイズの多い高周波情報を除去することを示す。
• 参考スコア（独自算出の注目度）: 70.21119504298078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-attention mechanism in graph neural networks (GNNs) led to state-of-the-art performance on many graph representation learning tasks. Currently, at every layer, attention is computed between connected pairs of nodes and depends solely on the representation of the two nodes. However, such attention mechanism does not account for nodes that are not directly connected but provide important network context. Here we propose Multi-hop Attention Graph Neural Network (MAGNA), a principled way to incorporate multi-hop context information into every layer of attention computation. MAGNA diffuses the attention scores across the network, which increases the receptive field for every layer of the GNN. Unlike previous approaches, MAGNA uses a diffusion prior on attention values, to efficiently account for all paths between the pair of disconnected nodes. We demonstrate in theory and experiments that MAGNA captures large-scale structural information in every layer, and has a low-pass effect that eliminates noisy high-frequency information from graph data. Experimental results on node classification as well as the knowledge graph completion benchmarks show that MAGNA achieves state-of-the-art results: MAGNA achieves up to 5.7 percent relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. MAGNA also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion MAGNA advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)における自己保持機構は、多くのグラフ表現学習タスクにおける最先端のパフォーマンスをもたらす。 現在、各層で、接続されたノードのペア間で注意が計算され、2つのノードの表現のみに依存する。 しかし、そのような注意機構は直接接続されていないが重要なネットワークコンテキストを提供するノードを考慮しない。 本稿では,マルチホップ注意グラフニューラルネットワーク(Multi-hop Attention Graph Neural Network,MAGNA)を提案する。 MAGNAはネットワーク全体の注意点を拡散させ、GNNの各層に対する受容野を増加させる。 従来のアプローチとは異なり、MAGNAは注意値に先立って拡散し、切断されたノード間のすべての経路を効率的に説明する。 理論および実験により,magnaは全層で大規模構造情報をキャプチャし,グラフデータからノイズの多い高周波情報を排除できる低パス効果を有することを示した。 ノード分類と知識グラフ補完ベンチマークの実験結果は、MAGNAが最先端の結果を達成することを示している: MAGNAは、Cora, Citeseer, Pubmedの以前の最先端よりも最大5.7%の相対誤差削減を達成する。 MAGNAはまた、大規模なOpen Graph Benchmarkデータセットで最高のパフォーマンスを得る。 知識グラフの補完について MAGNA は、4つの異なるパフォーマンス指標で WN18RR と FB15k-237 の最先端を推し進めている。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Reasoning Graph Networks for Kinship Verification: from Star-shaped to Hierarchical [85.0376670244522]
  階層型推論グラフネットワークの学習による顔の親和性検証の問題点について検討する。 より強力で柔軟なキャパシティを利用するために,星型推論グラフネットワーク(S-RGN)を開発した。 また、より強力で柔軟なキャパシティを利用する階層型推論グラフネットワーク(H-RGN)も開発しています。
  論文  参考訳（メタデータ） (2021-09-06T03:16:56Z)
• Missing Data Estimation in Temporal Multilayer Position-aware Graph Neural Network (TMP-GNN) [5.936402320555635]
  TMP-GNN(Temporal Multilayered Position-aware Graph Neural Network)は,動的グラフに対するノード埋め込み手法である。 時間的多層グラフの2つの異なる表現に対するTMP-GNNの性能評価を行った。 我々は、TMP-GNNをディープラーニングフレームワークに組み込んで、欠落したデータを推定し、その性能を対応する有能なGNNと比較する。
  論文  参考訳（メタデータ） (2021-08-07T08:32:40Z)
• Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
  異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。 HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。 ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-04-16T04:56:38Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)
• Isometric Graph Neural Networks [5.306334746787569]
  我々はIsometric Graph Neural Networks (IGNN) の学習手法を提案する。 IGNNは、任意のGNNアルゴリズムがノード間の距離を反映した表現を生成するために、入力表現空間と損失関数を変更する必要がある。 我々はケンドールのタウ(KT)の400%まで、一貫した実質的な改善を観察する。
  論文  参考訳（メタデータ） (2020-06-16T22:51:13Z)
• How hard is to distinguish graphs with graph neural networks? [32.09819774228997]
  本研究では,メッセージパッシングモデル(MPNN)におけるグラフアイソモーフィズムの分類変種に対する硬度結果の導出を行う。 MPNNは、今日のグラフニューラルネットワークの大部分を包含しており、ノードにユニークな特徴が与えられた場合、普遍的である。 12のグラフ分類タスクと420のネットワークを含む実証的研究は、実際の性能と理論的予測の間に強い整合性を示す。
  論文  参考訳（メタデータ） (2020-05-13T22:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。