論文の概要: Graph Fourier Transformer with Structure-Frequency Information
- arxiv url: http://arxiv.org/abs/2504.19740v1
- Date: Mon, 28 Apr 2025 12:38:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.43355
- Title: Graph Fourier Transformer with Structure-Frequency Information
- Title（参考訳）: 構造周波数情報を用いたグラフフーリエ変換器
- Authors: Yonghui Zhai, Yang Zhang, Minghao Shang, Lihua Pang, Yaxin Ren,
- Abstract要約: 本稿では、GTと周波数構造情報を含む帰納バイアスを革新的に組み合わせたGrafourierformerを提案する。
様々なベンチマーク実験により、グラフ分類やノード分類タスクにおいて、GrafourierformerはGNNやGTベースのモデルよりも一貫して優れていた。
- 参考スコア（独自算出の注目度）: 2.7852431537059426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Transformers (GTs) have shown advantages in numerous graph structure tasks but their self-attention mechanism ignores the generalization bias of graphs, with existing methods mainly compensating for this bias from aspects like position encoding, attention bias and relative distance yet still having sub-optimal performance and being insufficient by only considering the structural perspective of generalization bias. To address this, this paper proposes Grafourierformer, which innovatively combines GT with inductive bias containing Frequency-Structure information by applying Graph Fourier Transform to the Attention Matrix: specifically, eigenvalues from the Graph Laplacian matrix are used to construct an Eigenvalue matrix mask (reflecting node positions and structural relationships with neighboring nodes to enable consideration of node range structural characteristics and focus on local graph details), and inverse Fourier transform is employed to extract node high-frequency and low-frequency features, calculate low-frequency and high-frequency energy, and construct a node frequency-energy matrix to filter the eigenvalue matrix mask, allowing attention heads to incorporate both graph structural information and node frequency information optimization, adaptively distinguish global trends from local details, and effectively suppress redundant information interference. Extensive experiments on various benchmarks show Grafourierformer consistently outperforms GNN and GT-based models in graph classification and node classification tasks, with ablation experiments further validating the effectiveness and necessity of the method. Codes are available at https://github.com/Arichibald/Grafourierformer.git
- Abstract（参考訳）: グラフ変換器(GT)は多くのグラフ構造タスクにおいて利点を示してきたが、その自己認識機構はグラフの一般化バイアスを無視しており、このバイアスを主に位置符号化、注意バイアス、相対距離といった側面から補償する既存の手法は、まだ準最適性能を有しており、一般化バイアスの構造的な観点を考慮すれば不十分である。
そこで本論文では,グラフフーリエ変換をアテンションマトリックスに適用することにより,GTと周波数-構造情報を含む帰納バイアスを革新的に組み合わせたGrafourierformerを提案する。特に,グラフラプラシア行列からの固有値を用いて固有値行列マスク(ノード位置と近傍ノードとの構造的関係を反映してノード範囲の構造的特性と局所グラフ細部への焦点を考慮)を構築し,逆フーリエ変換を用いてノードの高周波・低周波特性を抽出し,低周波エネルギーを算出し,固有値行列マスクをフィルタし,グラフ情報と周波数情報の両方に注目するノード周波数-エネルギー行列を構築する。
グラフ分類やノード分類タスクにおいて、GrafourierformerはGNNやGTベースのモデルよりも一貫して優れており、アブレーション実験により、この手法の有効性と必要性が検証されている。
コードはhttps://github.com/Arichibald/Grafourierformer.gitで公開されている。
関連論文リスト
- Dual-Frequency Filtering Self-aware Graph Neural Networks for Homophilic and Heterophilic Graphs [60.82508765185161]
我々は、Dual-Frequency Filtering Self-Aware Graph Neural Networks (DFGNN)を提案する。
DFGNNは低域通過フィルタと高域通過フィルタを統合し、滑らかで詳細な位相的特徴を抽出する。
フィルター比を動的に調整し、ホモフィルグラフとヘテロフィルグラフの両方に対応する。
論文 参考訳（メタデータ） (2024-11-18T04:57:05Z) - GrassNet: State Space Model Meets Graph Neural Network [57.62885438406724]
Graph State Space Network (GrassNet)は、任意のグラフスペクトルフィルタを設計するためのシンプルで効果的なスキームを提供する理論的なサポートを持つ、新しいグラフニューラルネットワークである。
我々の知る限り、我々の研究はグラフGNNスペクトルフィルタの設計にSSMを使った最初のものである。
9つの公開ベンチマークでの大規模な実験により、GrassNetは現実世界のグラフモデリングタスクにおいて優れたパフォーマンスを達成することが明らかになった。
論文 参考訳（メタデータ） (2024-08-16T07:33:58Z) - What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。
本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
論文 参考訳（メタデータ） (2024-06-04T05:30:16Z) - Gradformer: Graph Transformer with Exponential Decay [69.50738015412189]
グラフ変換器(GT)の自己保持機構は、グラフの帰納バイアス、特に構造に関するバイアスを見落としている。
本稿では,GTと本質的帰納バイアスを革新的に統合するGradformerを提案する。
GradformerはグラフニューラルネットワークやGTベースラインモデルよりも、さまざまなグラフ分類や回帰タスクにおいて一貫して優れています。
論文 参考訳（メタデータ） (2024-04-24T08:37:13Z) - UniG-Encoder: A Universal Feature Encoder for Graph and Hypergraph Node
Classification [6.977634174845066]
グラフおよびハイパーグラフ表現学習のための普遍的特徴エンコーダ(UniG-Encoder)が設計されている。
アーキテクチャは、連結ノードのトポロジ的関係をエッジやハイパーエッジに前方変換することから始まる。
符号化されたノードの埋め込みは、投影行列の変換によって記述された逆変換から導かれる。
論文 参考訳（メタデータ） (2023-08-03T09:32:50Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳（メタデータ） (2021-12-14T14:48:08Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T17:57:53Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳（メタデータ） (2021-06-10T11:36:22Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳（メタデータ） (2021-06-07T18:11:11Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳（メタデータ） (2020-12-17T16:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。