論文の概要: Spectral Graph Attention Network with Fast Eigen-approximation

• arxiv url: http://arxiv.org/abs/2003.07450v2
• Date: Tue, 27 Jul 2021 11:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 03:07:10.754050
• Title: Spectral Graph Attention Network with Fast Eigen-approximation
• Title（参考訳）: 高速固有近似を用いたスペクトルグラフ注意ネットワーク
• Authors: Heng Chang, Yu Rong, Tingyang Xu, Wenbing Huang, Somayeh Sojoudi, Junzhou Huang, Wenwu Zhu
• Abstract要約: スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。 固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
• 参考スコア（独自算出の注目度）: 103.93113062682633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variants of Graph Neural Networks (GNNs) for representation learning have been proposed recently and achieved fruitful results in various fields. Among them, Graph Attention Network (GAT) first employs a self-attention strategy to learn attention weights for each edge in the spatial domain. However, learning the attentions over edges can only focus on the local information of graphs and greatly increases the computational costs. In this paper, we first introduce the attention mechanism in the spectral domain of graphs and present Spectral Graph Attention Network (SpGAT) that learns representations for different frequency components regarding weighted filters and graph wavelets bases. In this way, SpGAT can better capture global patterns of graphs in an efficient manner with much fewer learned parameters than that of GAT. Further, to reduce the computational cost of SpGAT brought by the eigen-decomposition, we propose a fast approximation variant SpGAT-Cheby. We thoroughly evaluate the performance of SpGAT and SpGAT-Cheby in semi-supervised node classification tasks and verify the effectiveness of the learned attentions in the spectral domain.
• Abstract（参考訳）: 近年,表現学習のためのグラフニューラルネットワーク(GNN)の変数が提案され,様々な分野で実りある結果が得られた。 その中でも、グラフ注意ネットワーク(GAT)は、まず空間領域の各エッジに対する注意重みを学習するために自己注意戦略を採用している。 しかし、エッジ上の注意を学習することは、グラフの局所的な情報のみに焦点を当てることができ、計算コストを大幅に増加させる。 本稿では,まず,重み付きフィルタおよびグラフウェーブレットベースに関する周波数成分の表現を学習する,グラフのスペクトル領域における注意機構と,spgat(spectral graph attention network)について紹介する。 このようにして、SpGATはGATよりも学習パラメータをはるかに少なく、グラフのグローバルなパターンを効率的に捉えることができる。 さらに、固有分解によるSpGATの計算コストを削減するために、高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価し、スペクトル領域における学習注意の有効性を検証する。

関連論文リスト

• GrassNet: State Space Model Meets Graph Neural Network [57.62885438406724]
  Graph State Space Network (GrassNet)は、任意のグラフスペクトルフィルタを設計するためのシンプルで効果的なスキームを提供する理論的なサポートを持つ、新しいグラフニューラルネットワークである。 我々の知る限り、我々の研究はグラフGNNスペクトルフィルタの設計にSSMを使った最初のものである。 9つの公開ベンチマークでの大規模な実験により、GrassNetは現実世界のグラフモデリングタスクにおいて優れたパフォーマンスを達成することが明らかになった。
  論文  参考訳（メタデータ） (2024-08-16T07:33:58Z)
• Representation Learning on Heterophilic Graph with Directional Neighborhood Attention [8.493802098034255]
  Graph Attention Network(GAT)は、最も人気のあるGraph Neural Network(GNN)アーキテクチャの1つである。 GATは、長距離およびグローバルグラフ情報をキャプチャする能力に欠けており、いくつかのデータセットで不満足なパフォーマンスをもたらす。 本稿では,特徴に基づく注意と,グラフトポロジから抽出したグローバルな方向性情報を組み合わせるために,DGAT(Directional Graph Attention Network)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T10:59:16Z)
• Learnable Filters for Geometric Scattering Modules [64.03877398967282]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2022-08-15T22:30:07Z)
• Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks [11.857894213975644]
  本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。 理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
  論文  参考訳（メタデータ） (2022-01-22T00:47:41Z)
• Pointspectrum: Equivariance Meets Laplacian Filtering for Graph Representation Learning [3.7875603451557063]
  グラフ表現学習(GRL)は、現代のグラフデータマイニングおよび学習タスクに欠かせないものとなっている。 グラフニューラルネットワーク(GNN)は最先端のGRLアーキテクチャで使用されているが、過度なスムース化に悩まされていることが示されている。 本稿では,グラフの構造を考慮に入れたスペクトル法であるPointSpectrumを提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:59:11Z)
• Spectral-Spatial Global Graph Reasoning for Hyperspectral Image Classification [50.899576891296235]
  畳み込みニューラルネットワークは、ハイパースペクトル画像分類に広く応用されている。 近年の手法は空間トポロジのグラフ畳み込みによってこの問題に対処しようとしている。
  論文  参考訳（メタデータ） (2021-06-26T06:24:51Z)
• Graph Networks with Spectral Message Passing [1.0742675209112622]
  本稿では,空間領域とスペクトル領域の両方にメッセージパッシングを適用するSpectral Graph Networkを紹介する。 その結果,spectrum gnは効率のよいトレーニングを促進し,より多くのパラメータを持つにもかかわらず,少ないトレーニングイテレーションで高いパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2020-12-31T21:33:17Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。