論文の概要: GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers

• arxiv url: http://arxiv.org/abs/2411.17296v1
• Date: Tue, 26 Nov 2024 10:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:52.590809
• Title: GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers
• Title（参考訳）: GrokFormer: Graph Fourier Kolmogorov-Arnold Transformer
• Authors: Guoguo Ai, Guansong Pang, Hezhe Qiao, Yuan Gao, Hui Yan,
• Abstract要約: グラフコルモゴロフ・アルノルド変換器(GrokFormer)ネットワークを提案する。 GrokFormerは、異なる順序と周波数信号のレベルに隠された複雑なパターンを効果的にキャプチャできる。 さまざまな領域、スケール、グラフのレベルにわたる10のノード分類データセットと5つのグラフ分類データセットで実施された総合的な実験は、GrokFormerが最先端のGTや他の高度なグラフニューラルネットワークより優れていることを実証している。
• 参考スコア（独自算出の注目度）: 21.601090849000247
• License:
• Abstract: Graph Transformers (GTs) have demonstrated remarkable performance in incorporating various graph structure information, e.g., long-range structural dependency, into graph representation learning. However, self-attention -- the core module of GTs -- preserves only low-frequency signals on graph features, retaining only homophilic patterns that capture similar features among the connected nodes. Consequently, it has insufficient capacity in modeling complex node label patterns, such as the opposite of homophilic patterns -- heterophilic patterns. Some improved GTs deal with the problem by learning polynomial filters or performing self-attention over the first-order graph spectrum. However, these GTs either ignore rich information contained in the whole spectrum or neglect higher-order spectrum information, resulting in limited flexibility and frequency response in their spectral filters. To tackle these challenges, we propose a novel GT network, namely Graph Fourier Kolmogorov-Arnold Transformers (GrokFormer), to go beyond the self-attention in GTs. GrokFormer leverages learnable activation functions in order-$K$ graph spectrum through Fourier series modeling to i) learn eigenvalue-targeted filter functions producing learnable base that can capture a broad range of frequency signals flexibly, and ii) extract first- and higher-order graph spectral information adaptively. In doing so, GrokFormer can effectively capture intricate patterns hidden across different orders and levels of frequency signals, learning expressive, order-and-frequency-adaptive graph representations. Comprehensive experiments conducted on 10 node classification datasets across various domains, scales, and levels of graph heterophily, as well as 5 graph classification datasets, demonstrate that GrokFormer outperforms state-of-the-art GTs and other advanced graph neural networks.
• Abstract（参考訳）: グラフ変換器(GT)は、グラフ表現学習に様々なグラフ構造情報(例えば、長距離構造依存)を組み込む際、顕著な性能を示した。 しかしながら、GTのコアモジュールであるセルフアテンションは、グラフ機能上の低周波信号のみを保持し、接続ノード間の同様の特徴をキャプチャするホモフレンドリなパターンのみを保持する。 その結果、複素ノードラベルパターンをモデル化する能力が不足している。 いくつかの改良されたGTは、多項式フィルタを学習したり、一階グラフスペクトル上で自己アテンションを実行することでこの問題に対処する。 しかし、これらのGTはスペクトル全体に含まれる豊富な情報を無視するか、高次スペクトル情報を無視し、スペクトルフィルタの柔軟性と周波数応答が制限される。 これらの課題に対処するために,グラフフーリエ・コルモゴロフ・アルノルド変換器(GrokFormer)という新しいGTネットワークを提案する。 GrokFormer はフーリエ級数モデリングを通して順-$K$グラフスペクトルの学習可能なアクティベーション関数を利用する 一 幅広い周波数信号を柔軟に捉えることができる学習可能なベースを生成する固有値目標フィルタ関数を学習し、 二 第一及び上位グラフスペクトル情報を適応的に抽出すること。 そうすることでGrokFormerは、異なる順序と周波数信号のレベルに隠された複雑なパターンを効果的にキャプチャし、表現性、順序と周波数順応性のあるグラフ表現を学ぶことができる。 さまざまな領域、スケール、グラフのレベルにわたる10のノード分類データセットと5つのグラフ分類データセットで実施された総合的な実験は、GrokFormerが最先端のGTや他の高度なグラフニューラルネットワークより優れていることを実証している。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention [52.67633391931959]
  グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。 グラフシンクホーン注意機構(GSINA)を提案する。 GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
  論文  参考訳（メタデータ） (2024-02-11T12:57:16Z)
• Specformer: Spectral Graph Neural Networks Meet Transformers [51.644312964537356]
  スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学習する。 本稿では、全ての固有値の集合を効果的に符号化し、スペクトル領域で自己アテンションを行うSpecformerを紹介する。 複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。
  論文  参考訳（メタデータ） (2023-03-02T07:36:23Z)
• PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
  我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。 グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
  論文  参考訳（メタデータ） (2022-11-26T01:17:23Z)
• Simplified Graph Convolution with Heterophily [25.7577503312319]
  単純グラフ畳み込み(SGC)は異種グラフ(非同種グラフ)には有効でないことを示す。 本稿では、同好性グラフ構造と異好性グラフ構造の両方に適応できる適応的単純グラフ畳み込み(ASGC)を提案する。
  論文  参考訳（メタデータ） (2022-02-08T20:52:08Z)
• Improving Spectral Graph Convolution for Learning Graph-level Representation [27.76697047602983]
  グラフ全体の表現を学習するためには,ノード間の基本的な関係を特徴付けるため,位相的距離が必要と考えられる。 グラフフィルタの制限を取り除くことで、新たなアーキテクチャによってグラフ表現の学習のパフォーマンスが大幅に向上する。 これは、よく知られたスペクトル/ローパスフィルタと比較して、入力信号に対するスペクトルの影響を定量的に測定する理解として機能する。
  論文  参考訳（メタデータ） (2021-12-14T04:50:46Z)
• Beyond Low-pass Filtering: Graph Convolutional Networks with Automatic Filtering [61.315598419655224]
  グラフ信号の全スペクトルをキャプチャする自動グラフ畳み込みネットワーク(AutoGCN)を提案する。 グラフスペクトル理論に基づいているが、私たちのAutoGCNも空間に局在しており、空間形式を持っている。
  論文  参考訳（メタデータ） (2021-07-10T04:11:25Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。