論文の概要: Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion

• arxiv url: http://arxiv.org/abs/2607.06546v1
• Date: Tue, 07 Jul 2026 17:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.615081
• Title: Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion
• Title（参考訳）: Graph Convolutional Attention: Graph Denoising and Diffusionのスペクトル的展望
• Abstract要約: 偏極的目的の下では、線形注意は準最適であり、トレーニング分布に対して平均スペクトル偏極フィルタを学習することしかできないことを示す。 本稿では、入力グラフスペクトルを直接利用し、分布のスペクトル多様性に支配されるマージンによって線形注意を確実に上回るスペクトル注意法を提案する。 ブロックモデルでは、GCAは理想化されたスペクトルアテンション機構に確実に適合する。
• 参考スコア（独自算出の注目度）: 82.7007012514703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising graphs is a fundamental problem in graph learning and the core operation of graph diffusion models. Attention-based architectures like graph transformers have recently shown promise in denoising graphs. However, our principled understanding of attention-based graph denoising remains limited, making it unclear whether standard attention is the right mechanism for this task. Here we show that, under a denoising objective, linear attention is suboptimal and can only learn an average spectral denoising filter over the training distribution. This creates a fundamental limitation as graphs often vary spectrally across the distribution. To overcome this limitation, we introduce Spectral Attention, which directly utilizes the input graph spectrum and provably outperforms linear attention by a margin governed by the spectral diversity of the distribution. We then derive Graph Convolutional Attention (GCA), a practical and permutation-equivariant realization of this idea that implements spectral denoising through graph-filtered queries and keys. For stochastic block models, GCA provably matches the idealized Spectral Attention mechanism. We further show that the softmax operation, that follows the attention, provides additional denoising by approximately projecting noisy eigenvectors onto the clean eigenspace. Empirically, replacing linear attention with GCA consistently improves graph denoising and diffusion on synthetic and real datasets, with gains strongly correlated with spectral diversity. In DiGress, GCA matches standard graph-transformer performance without computing expensive structural features, and when combined with the recently proposed PEARL positional encodings, avoids explicit eigendecomposition computations resulting in faster inference without degrading quality. The code can be found here: github.com/shervinkhalafi/graph_conv_att
• Abstract（参考訳）: グラフのデノイングはグラフ学習における基本的な問題であり、グラフ拡散モデルのコア操作である。 グラフトランスフォーマーのようなアテンションベースのアーキテクチャは、最近グラフの認知において有望であることを示している。 しかし、注意に基づくグラフ記述の原則的理解は限定的であり、標準注意がこの課題の正しいメカニズムであるかどうかは不明である。 ここでは, 偏極的目標の下では, 線形注意が準最適であり, 平均スペクトル偏極フィルタを学習することしかできないことを示す。 これは、グラフが分布にわたってスペクトル的に変化するため、基本的な制限を生み出す。 この制限を克服するために、入力グラフスペクトルを直接利用し、分布のスペクトル多様性に支配されるマージンによって線形注意を確実に上回るスペクトル注意を導入する。 次に、グラフフィルタリングクエリとキーによるスペクトルデノゲーションを実装した、実用的な変分同値なこのアイデアの実現であるグラフ畳み込み注意(GCA)を導出する。 確率ブロックモデルでは、GCAは理想化されたスペクトルアテンション機構と確実に一致している。 さらに、注意を引いたソフトマックス演算は、ノイズの多い固有ベクトルをクリーンな固有空間に概ね投影することによって、余分な雑音を与えることを示した。 経験的に、線形の注意をGAAに置き換えることで、合成データセットと実データセットのグラフの分解と拡散が一貫して改善され、スペクトルの多様性と強く相関する。 DiGressでは、GCAは高価な構造的特徴を計算せずに標準的なグラフ変換器の性能と一致し、最近提案されたPEARL位置エンコーディングと組み合わせると、明示的な固有分解計算を回避し、品質を劣化させることなく推論を高速化する。 github.com/shervinkhalafi/graph_conv_att

関連論文リスト

• Improved large-scale graph learning through ridge spectral sparsification [65.84577791298442]
  分散ストリーミング環境におけるラプラシアンLの学習問題を考察する。 この設定では、L の分散表現を維持しながら、素早く、あるいはほぼ学習することは困難である。 本稿では, 有効抵抗の小さなサブセットを維持することにより, ラプラシアンを効率的に分散させる新しいアルゴリズムGSQUEAKを提案する。
  論文  参考訳（メタデータ） (2026-04-22T00:49:31Z)
• Advection-Diffusion on Graphs: A Bakry-Emery Laplacian for Spectral Graph Neural Networks [2.6124895681424323]
  グラフニューラルネットワーク(GNN)は、過度なスムーシングやオーバーシャッシングによって、遠方からの情報伝達に苦慮することが多い。 学習可能なノードワイズポテンシャルを通じて拡散と対流を統合したBakry-Emery graph Laplacianを導入する。 我々は、ポテンシャルとチェビシェフフィルタを共同で学習するスペクトルアーキテクチャであるmu-ChebNetを開発した。
  論文  参考訳（メタデータ） (2026-02-20T11:01:12Z)
• A Spectral Interpretation of Redundancy in a Graph Reservoir [51.40366905583043]
  この研究はMRGNN(Multi resolution Reservoir Graph Neural Network)における貯留層の定義を再考する。 コンピュータグラフィックスにおける表面設計の分野で最初に導入されたフェアリングアルゴリズムに基づく変種を提案する。 この論文の中核的な貢献は、ランダムウォークの観点からのアルゴリズムの理論解析にある。
  論文  参考訳（メタデータ） (2025-07-17T10:02:57Z)
• Mitigating Over-Squashing in Graph Neural Networks by Spectrum-Preserving Sparsification [81.06278257153835]
  本稿では,構造的ボトルネック低減とグラフ特性保存のバランスをとるグラフ再構成手法を提案する。 本手法は、疎性を維持しながら接続性を高めたグラフを生成し、元のグラフスペクトルを大半保存する。
  論文  参考訳（メタデータ） (2025-06-19T08:01:00Z)
• RobGC: Towards Robust Graph Condensation [61.259453496191696]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の目覚ましい能力によって広く注目を集めている。 しかし,大規模グラフの普及は,その計算要求により,GNNトレーニングにとって大きな課題となる。 本稿では,GNNを効率よく学習し,性能を保ちつつ,情報的コンパクトなグラフを生成するために,GC(Graph Condensation)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T04:14:57Z)
• How Powerful is Graph Filtering for Recommendation [7.523823738965443]
  グラフフィルタリングのパワーを抑制する2つの制限を示す。 様々なノイズ分布のため、グラフフィルタは全ての周波数にノイズが散らばっているスパースデータを劣化させることができない。 教師付きトレーニングは、トレーニングなしでグラフフィルタによって除去できる中周波数にノイズが集中している高密度データに対して、より悪いパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-06-13T05:37:54Z)
• Handling Missing Data via Max-Entropy Regularized Graph Autoencoder [37.8103274049137]
  MEGAEはグラフ属性計算のための正規化グラフオートエンコーダである。 グラフスペクトルエントロピーを最大化することでスペクトル集中問題を緩和することを目的としている。 さまざまなベンチマークデータセットにおいて、他の最先端の計算方法よりも優れています。
  論文  参考訳（メタデータ） (2022-11-30T06:22:40Z)
• Quasi-Framelets: Robust Graph Neural Networks via Adaptive Framelet Convolution [28.474359021962346]
  スペクトルグラフニューラルネットワーク(GNN)のためのマルチスケールフレームレット畳み込みを提案する。 提案設計は、不要なスペクトル情報をフィルタリングし、ノイズグラフ信号の悪影響を著しく低減する。 ノイズの多いデータや敵攻撃に対する優れたレジリエンスを示しており、現実世界のグラフアプリケーションに対する堅牢なソリューションとしての可能性を強調している。
  論文  参考訳（メタデータ） (2022-01-11T00:10:28Z)
• Pointspectrum: Equivariance Meets Laplacian Filtering for Graph Representation Learning [3.7875603451557063]
  グラフ表現学習(GRL)は、現代のグラフデータマイニングおよび学習タスクに欠かせないものとなっている。 グラフニューラルネットワーク(GNN)は最先端のGRLアーキテクチャで使用されているが、過度なスムース化に悩まされていることが示されている。 本稿では,グラフの構造を考慮に入れたスペクトル法であるPointSpectrumを提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:59:11Z)
• Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
  本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。 解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
  論文  参考訳（メタデータ） (2020-10-21T20:04:22Z)
• Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks [8.563354084119062]
  空間領域やスペクトル領域におけるグラフ畳み込み過程の等価性を示す。 提案フレームワークは、空間領域に適用しながら、独自の周波数プロファイルを持つスペクトル領域の新しい畳み込みを設計するために使用される。
  論文  参考訳（メタデータ） (2020-03-26T01:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。