論文の概要: Specformer: Spectral Graph Neural Networks Meet Transformers

• arxiv url: http://arxiv.org/abs/2303.01028v1
• Date: Thu, 2 Mar 2023 07:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 15:42:48.887708
• Title: Specformer: Spectral Graph Neural Networks Meet Transformers
• Title（参考訳）: Specformer: スペクトルグラフニューラルネットワークがTransformerと出会う
• Authors: Deyu Bo and Chuan Shi and Lele Wang and Renjie Liao
• Abstract要約: スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学習する。 本稿では、全ての固有値の集合を効果的に符号化し、スペクトル領域で自己アテンションを行うSpecformerを紹介する。 複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。
• 参考スコア（独自算出の注目度）: 51.644312964537356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral graph neural networks (GNNs) learn graph representations via spectral-domain graph convolutions. However, most existing spectral graph filters are scalar-to-scalar functions, i.e., mapping a single eigenvalue to a single filtered value, thus ignoring the global pattern of the spectrum. Furthermore, these filters are often constructed based on some fixed-order polynomials, which have limited expressiveness and flexibility. To tackle these issues, we introduce Specformer, which effectively encodes the set of all eigenvalues and performs self-attention in the spectral domain, leading to a learnable set-to-set spectral filter. We also design a decoder with learnable bases to enable non-local graph convolution. Importantly, Specformer is equivariant to permutation. By stacking multiple Specformer layers, one can build a powerful spectral GNN. On synthetic datasets, we show that our Specformer can better recover ground-truth spectral filters than other spectral GNNs. Extensive experiments of both node-level and graph-level tasks on real-world graph datasets show that our Specformer outperforms state-of-the-art GNNs and learns meaningful spectrum patterns. Code and data are available at https://github.com/bdy9527/Specformer.
• Abstract（参考訳）: スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学ぶ。 しかし、既存のスペクトルグラフフィルタのほとんどはスカラー-スカラー関数、すなわち1つの固有値から1つのフィルタ値へのマッピングであり、スペクトルのグローバルパターンを無視している。 さらに、これらのフィルタはしばしば、表現性や柔軟性が制限されたいくつかの固定階多項式に基づいて構築される。 そこで本研究では,すべての固有値の集合を効果的にエンコードし,スペクトル領域に自己アテンションを行うspecformerを導入し,学習可能なset-to-setスペクトルフィルタを実現する。 また、非局所グラフ畳み込みを可能にする学習可能なベースを持つデコーダを設計する。 重要なことは、Specformerは置換と同型である。 複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。 合成データセットでは、他のスペクトルGNNよりも、地中スペクトルフィルタをよりよく回収できることが示される。 実世界のグラフデータセットにおけるノードレベルのタスクとグラフレベルのタスクの広範な実験は、Specformerが最先端のGNNより優れ、有意義なスペクトルパターンを学ぶことを示している。 コードとデータはhttps://github.com/bdy9527/specformerで入手できる。

関連論文リスト

• GrassNet: State Space Model Meets Graph Neural Network [57.62885438406724]
  Graph State Space Network (GrassNet)は、任意のグラフスペクトルフィルタを設計するためのシンプルで効果的なスキームを提供する理論的なサポートを持つ、新しいグラフニューラルネットワークである。 我々の知る限り、我々の研究はグラフGNNスペクトルフィルタの設計にSSMを使った最初のものである。 9つの公開ベンチマークでの大規模な実験により、GrassNetは現実世界のグラフモデリングタスクにおいて優れたパフォーマンスを達成することが明らかになった。
  論文  参考訳（メタデータ） (2024-08-16T07:33:58Z)
• Advancing Graph Convolutional Networks via General Spectral Wavelets [41.41593198072709]
  本稿では,マルチレゾリューションスペクトルベースと行列値フィルタカーネルを統合した新しいウェーブレットベースのグラフ畳み込みネットワークWaveGCを提案する。 理論的には、WaveGCは、短距離および長距離情報を効果的にキャプチャし、分離できることを確立し、より優れたフィルタリング柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:32:27Z)
• HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
  従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。 ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。 本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
  論文  参考訳（メタデータ） (2023-10-03T17:42:09Z)
• How Powerful are Spectral Graph Neural Networks [9.594432031144715]
  スペクトルグラフニューラルネットワーク(Spectral Graph Neural Network)は、グラフ信号フィルタに基づくグラフニューラルネットワークの一種である。 まず、非線形性のないスペクトルGNNでさえ任意のグラフ信号を生成することを証明した。 また、スペクトルGNNの表現力とグラフアイソモーフィズム(GI)テストの関連性を確立する。
  論文  参考訳（メタデータ） (2022-05-23T10:22:12Z)
• Improving Spectral Graph Convolution for Learning Graph-level Representation [27.76697047602983]
  グラフ全体の表現を学習するためには,ノード間の基本的な関係を特徴付けるため,位相的距離が必要と考えられる。 グラフフィルタの制限を取り除くことで、新たなアーキテクチャによってグラフ表現の学習のパフォーマンスが大幅に向上する。 これは、よく知られたスペクトル/ローパスフィルタと比較して、入力信号に対するスペクトルの影響を定量的に測定する理解として機能する。
  論文  参考訳（メタデータ） (2021-12-14T04:50:46Z)
• Pointspectrum: Equivariance Meets Laplacian Filtering for Graph Representation Learning [3.7875603451557063]
  グラフ表現学習(GRL)は、現代のグラフデータマイニングおよび学習タスクに欠かせないものとなっている。 グラフニューラルネットワーク(GNN)は最先端のGRLアーキテクチャで使用されているが、過度なスムース化に悩まされていることが示されている。 本稿では,グラフの構造を考慮に入れたスペクトル法であるPointSpectrumを提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:59:11Z)
• BernNet: Learning Arbitrary Graph Spectral Filters via Bernstein Approximation [47.88982193039535]
  任意のグラフスペクトルフィルタを設計・学習するためのシンプルで効果的なスキームを提供する理論的サポートを備えた新しいグラフニューラルネットワークであるtextitBernNet$を提案する。 特に、グラフの正規化ラプラススペクトル上のフィルターに対して、ベルンネットはそれをK$バーンスタイン近似により推定し、ベルンシュタイン基底の係数を設定することでスペクトル特性を設計する。 実験により,BernNetは複雑なバンドリジェクションやコムフィルタを含む任意のスペクトルフィルタを学習でき,実世界のグラフモデリングタスクにおいて優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-21T11:26:06Z)
• Message Passing in Graph Convolution Networks via Adaptive Filter Banks [81.12823274576274]
  我々は BankGCN と呼ばれる新しいグラフ畳み込み演算子を提案する。 グラフ上のマルチチャネル信号をサブスペースに分解し、各サブスペース内の特定の情報を適応フィルタで処理する。 ベンチマークグラフデータセットの集合におけるグラフ分類における優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-06-18T04:23:34Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。