論文の概要: GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers

• arxiv url: http://arxiv.org/abs/2411.17296v2
• Date: Sun, 09 Feb 2025 06:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 17:37:47.342717
• Title: GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers
• Title（参考訳）: GrokFormer: Graph Fourier Kolmogorov-Arnold Transformer
• Authors: Guoguo Ai, Guansong Pang, Hezhe Qiao, Yuan Gao, Hui Yan,
• Abstract要約: グラフ変換器(GT)は、人気のあるグラフニューラルネットワーク(GNN)上でのグラフ表現学習において顕著な性能を示した。 しかし、GTのコアモジュールである自己アテンションは、グラフの特徴において低周波信号のみを保持するため、高周波信号のような他の重要な信号の捕捉には効果がない。 適応的なグラフスペクトルと順序を持つ高表現性スペクトルフィルタを学習するグラフフーリエKolmogorov-Arnold変換器(GrokFormer)を提案する。
• 参考スコア（独自算出の注目度）: 21.601090849000247
• License:
• Abstract: Graph Transformers (GTs) have demonstrated remarkable performance in graph representation learning over popular graph neural networks (GNNs). However, self--attention, the core module of GTs, preserves only low-frequency signals in graph features, leading to ineffectiveness in capturing other important signals like high-frequency ones. Some recent GT models help alleviate this issue, but their flexibility and expressiveness are still limited since the filters they learn are fixed on predefined graph spectrum or order. To tackle this challenge, we propose a Graph Fourier Kolmogorov-Arnold Transformer (GrokFormer), a novel GT model that learns highly expressive spectral filters with adaptive graph spectrum and order through a Fourier series modeling over learnable activation functions. We demonstrate theoretically and empirically that the proposed GrokFormer filter offers better expressiveness than other spectral methods. Comprehensive experiments on 10 real-world node classification datasets across various domains, scales, and graph properties, as well as 5 graph classification datasets, show that GrokFormer outperforms state-of-the-art GTs and GNNs. Our code is available at https://github.com/GGA23/GrokFormer
• Abstract（参考訳）: グラフ変換器(GT)は、人気のあるグラフニューラルネットワーク(GNN)上でのグラフ表現学習において顕著な性能を示した。 しかし、GTのコアモジュールである自己アテンションは、グラフの特徴において低周波信号のみを保持するため、高周波信号のような他の重要な信号の捕捉には効果がない。 最近のGTモデルはこの問題を軽減するのに役立っているが、それらが学習するフィルタは事前に定義されたグラフスペクトルや順序で固定されているため、その柔軟性と表現性はまだ限られている。 この課題に対処するために、グラフフーリエ・コルモゴロフ・アルノルド変換器(GrokFormer)を提案する。これは、適応的なグラフスペクトルを持つ高表現性スペクトルフィルタと、学習可能なアクティベーション関数に関するフーリエ級数モデリングを通して順序を学習する新しいGTモデルである。 提案するGrokFormerフィルタは,他のスペクトル法よりも表現性が高いことを示す。 さまざまな領域、スケール、グラフ特性を含む10の実世界のノード分類データセットと5つのグラフ分類データセットに関する総合的な実験により、GrokFormerが最先端のGTやGNNより優れていることが示された。 私たちのコードはhttps://github.com/GGA23/GrokFormerで利用可能です。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention [52.67633391931959]
  グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。 グラフシンクホーン注意機構(GSINA)を提案する。 GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
  論文  参考訳（メタデータ） (2024-02-11T12:57:16Z)
• Specformer: Spectral Graph Neural Networks Meet Transformers [51.644312964537356]
  スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学習する。 本稿では、全ての固有値の集合を効果的に符号化し、スペクトル領域で自己アテンションを行うSpecformerを紹介する。 複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。
  論文  参考訳（メタデータ） (2023-03-02T07:36:23Z)
• PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
  我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。 グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
  論文  参考訳（メタデータ） (2022-11-26T01:17:23Z)
• Simplified Graph Convolution with Heterophily [25.7577503312319]
  単純グラフ畳み込み(SGC)は異種グラフ(非同種グラフ)には有効でないことを示す。 本稿では、同好性グラフ構造と異好性グラフ構造の両方に適応できる適応的単純グラフ畳み込み(ASGC)を提案する。
  論文  参考訳（メタデータ） (2022-02-08T20:52:08Z)
• Improving Spectral Graph Convolution for Learning Graph-level Representation [27.76697047602983]
  グラフ全体の表現を学習するためには,ノード間の基本的な関係を特徴付けるため,位相的距離が必要と考えられる。 グラフフィルタの制限を取り除くことで、新たなアーキテクチャによってグラフ表現の学習のパフォーマンスが大幅に向上する。 これは、よく知られたスペクトル/ローパスフィルタと比較して、入力信号に対するスペクトルの影響を定量的に測定する理解として機能する。
  論文  参考訳（メタデータ） (2021-12-14T04:50:46Z)
• Beyond Low-pass Filtering: Graph Convolutional Networks with Automatic Filtering [61.315598419655224]
  グラフ信号の全スペクトルをキャプチャする自動グラフ畳み込みネットワーク(AutoGCN)を提案する。 グラフスペクトル理論に基づいているが、私たちのAutoGCNも空間に局在しており、空間形式を持っている。
  論文  参考訳（メタデータ） (2021-07-10T04:11:25Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。