論文の概要: Deep Graph Attention Networks

• arxiv url: http://arxiv.org/abs/2410.15640v1
• Date: Mon, 21 Oct 2024 04:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:27.449617
• Title: Deep Graph Attention Networks
• Title（参考訳）: ディープグラフ注意ネットワーク
• Authors: Jun Kato, Airi Mita, Keita Gobara, Akihiro Inokuchi,
• Abstract要約: グラフ注意ネットワーク(GAT)に属するノードのクラスを予測する手法として,DeepGAT(DeepGAT)を提案する。 異なるクラスのノードが各レイヤで似ていないことを保証することで、GATのオーバースムーシングを回避する。 DeepGATは、大きなネットワークのトレーニングによって、少数のレイヤを持つネットワークに類似した注意係数を取得できる。
• 参考スコア（独自算出の注目度）: 2.828020273273355
• License:
• Abstract: Graphs are useful for representing various realworld objects. However, graph neural networks (GNNs) tend to suffer from over-smoothing, where the representations of nodes of different classes become similar as the number of layers increases, leading to performance degradation. A method that does not require protracted tuning of the number of layers is needed to effectively construct a graph attention network (GAT), a type of GNN. Therefore, we introduce a method called "DeepGAT" for predicting the class to which nodes belong in a deep GAT. It avoids over-smoothing in a GAT by ensuring that nodes in different classes are not similar at each layer. Using DeepGAT to predict class labels, a 15-layer network is constructed without the need to tune the number of layers. DeepGAT prevented over-smoothing and achieved a 15-layer GAT with similar performance to a 2-layer GAT, as indicated by the similar attention coefficients. DeepGAT enables the training of a large network to acquire similar attention coefficients to a network with few layers. It avoids the over-smoothing problem and obviates the need to tune the number of layers, thus saving time and enhancing GNN performance.
• Abstract（参考訳）: グラフは様々な現実世界のオブジェクトを表現するのに有用である。 しかしながら、グラフニューラルネットワーク(GNN)は、異なるクラスのノードの表現がレイヤーの数が増えるにつれて類似し、パフォーマンスが低下するオーバースムーシングに悩まされる傾向にある。 GNNの一種であるグラフアテンションネットワーク (GAT) を効果的に構築するためには, レイヤ数の事前調整を必要としない手法が必要である。 そこで本研究では,深いGATに属するノードのクラスを予測する手法として,DeepGAT(DeepGAT)を提案する。 異なるクラスのノードが各レイヤで似ていないことを保証することで、GATのオーバースムーシングを回避する。 DeepGATを使ってクラスラベルを予測し、レイヤ数を調整せずに15層ネットワークを構築する。 DeepGATはオーバースムーシングを防ぎ、2層GATと同様の性能を持つ15層GATを実現した。 DeepGATは、大きなネットワークのトレーニングによって、少数のレイヤを持つネットワークに類似した注意係数を取得できる。 過度にスムースな問題を回避し、レイヤ数を調整する必要をなくし、時間を節約し、GNN性能を向上させる。

関連論文リスト

• Graph Mining under Data scarcity [6.229055041065048]
  汎用グラフニューラルネットワーク(GNN)上に適用可能な不確実性推定フレームワークを提案する。 エンド・ツー・エンドの設定で、$n$-way、$k$-shotという古典的なエピソード学習パラダイムの下でこれらのモデルをトレーニングします。 提案手法は,GNNを用いたグラフ上のFew-shotノード分類における不確実性推定器の有効性を示すベースラインよりも優れる。
  論文  参考訳（メタデータ） (2024-06-07T10:50:03Z)
• Supervised Attention Using Homophily in Graph Neural Networks [26.77596449192451]
  そこで本研究では,クラスラベルを共有するノード間の注目度を高めるための新しい手法を提案する。 提案手法をいくつかのノード分類データセット上で評価し,標準ベースラインモデルよりも高い性能を示す。
  論文  参考訳（メタデータ） (2023-07-11T12:43:23Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Learnable Graph Convolutional Attention Networks [7.465923786151107]
  グラフニューラルネットワーク(GNN)は、ノード間のメッセージ交換を、隣接するすべてのノードの特徴を均一に(関連する)集約するか、あるいは特徴に一様でないスコア(動作)を適用することによって計算する。 最近の研究は、それぞれGCNとGATのGNNアーキテクチャの長所と短所を示している。 本稿では、注目スコアを計算するために、畳み込みに依存するグラフ畳み込みアテンション層(CAT)を紹介する。 以上の結果から,L-CATはネットワーク上の異なるGNN層を効率よく結合し,競合する手法よりも広い範囲で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-11-21T21:08:58Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities [4.142375560633827]
  グラフニューラルネットワーク(GNN)は、グラフ構造データのベクトル表現を学ぶために広く使用されている。 潜在的な原因は、深いGNNモデルは、多くのメッセージ通過ステップを通じてノードのローカル情報を失う傾向にある。 このいわゆる過度な問題を解くために,マルチレベルアテンションプールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-02T05:58:12Z)
• Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
  逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。 少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。 我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
  論文  参考訳（メタデータ） (2020-06-18T00:55:10Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。