論文の概要: Investigating Expressiveness of Transformer in Spectral Domain for Graphs

• arxiv url: http://arxiv.org/abs/2201.09332v1
• Date: Sun, 23 Jan 2022 18:03:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 08:40:42.330843
• Title: Investigating Expressiveness of Transformer in Spectral Domain for Graphs
• Title（参考訳）: グラフのスペクトル領域におけるトランスの表現性の検討
• Authors: Anson Bastos, Abhishek Nadgeri, Kuldeep Singh, Hiroki Kanezashi, Toyotaro Suzumura, Isaiah Onando Mulang'
• Abstract要約: 変圧器の領域における空間領域とスペクトル領域の関連性について検討し,その証明を行う。 本研究では,空間空間における注目に類似したグラフスペクトル全体に対する注目を実現するためのフレームワークFeTAを提案する。
• 参考スコア（独自算出の注目度）: 6.092217185687028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have been proven to be inadequate for graph representation learning. To understand this inadequacy, there is need to investigate if spectral analysis of transformer will reveal insights on its expressive power. Similar studies already established that spectral analysis of Graph neural networks (GNNs) provides extra perspectives on their expressiveness. In this work, we systematically study and prove the link between the spatial and spectral domain in the realm of the transformer. We further provide a theoretical analysis that the spatial attention mechanism in the transformer cannot effectively capture the desired frequency response, thus, inherently limiting its expressiveness in spectral space. Therefore, we propose FeTA, a framework that aims to perform attention over the entire graph spectrum analogous to the attention in spatial space. Empirical results suggest that FeTA provides homogeneous performance gain against vanilla transformer across all tasks on standard benchmarks and can easily be extended to GNN based models with low-pass characteristics (e.g., GAT). Furthermore, replacing the vanilla transformer model with FeTA in recently proposed position encoding schemes has resulted in comparable or better performance than transformer and GNN baselines.
• Abstract（参考訳）: トランスフォーマーはグラフ表現学習に不適当であることが証明されている。 この不適切さを理解するためには、変換器のスペクトル分析が表現力に関する洞察を明らかにするかどうかを検討する必要がある。 同様の研究により、グラフニューラルネットワーク(gnns)のスペクトル分析は、その表現力に関するさらなる視点をもたらすことが既に証明されている。 本研究では, 変圧器領域における空間領域とスペクトル領域の関係を系統的に研究し, 証明する。 さらに,変圧器の空間的注意機構が所望の周波数応答を効果的に捉えることができず,スペクトル空間における表現性を本質的に制限する理論解析を行った。 そこで本稿では,空間空間における注目に類似したグラフスペクトル全体に注意を向けるフレームワークFeTAを提案する。 実証的な結果は、FeTAが標準ベンチマーク上の全てのタスクに対してバニラ変換器に対して均質な性能向上をもたらし、低パス特性(例えばGAT)を持つGNNベースのモデルに容易に拡張可能であることを示唆している。 さらに、最近提案された位置符号化方式でバニラトランスモデルをfetaに置き換えることで、トランスフォーマやgnnのベースラインと同等あるいは優れた性能を実現している。

関連論文リスト

• Spectral Invariant Learning for Dynamic Graphs under Distribution Shifts [57.19908334882441]
  動的グラフニューラルネットワーク(DyGNN)は現在、動的グラフ固有の分散シフトを扱うのに苦労している。 本稿では,スペクトル領域における動的グラフの分布変化を初めて研究する。
  論文  参考訳（メタデータ） (2024-03-08T04:07:23Z)
• HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
  従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。 ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。 本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
  論文  参考訳（メタデータ） (2023-10-03T17:42:09Z)
• FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining [36.44039681893334]
  ハイパースペクトル画像(HSI)は、豊富なスペクトルと空間情報を含む。 現在の最先端ハイパースペクトル変換器は、入力されたHSIサンプルをスペクトル次元に沿ってトークン化するのみである。 本稿では、自己教師付き事前学習手順を取り入れた新しい分解スペクトル空間変換器を提案する。
  論文  参考訳（メタデータ） (2023-09-18T02:05:52Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Stable and Transferable Hyper-Graph Neural Networks [95.07035704188984]
  グラフニューラルネットワーク(GNN)を用いたハイパーグラフでサポートする信号処理アーキテクチャを提案する。 スペクトル類似性により任意のグラフにまたがってGNNの安定性と転送可能性の誤差をバウンドするフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-11-11T23:44:20Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network [0.0]
  この研究は、顔スタイル変換のタスクにおける教師なし画像翻訳のための新しいGANアーキテクチャを導入した。 画像内容に対する空間的注意とともに、スペクトル注意に基づくメカニズムを設計に組み込む。
  論文  参考訳（メタデータ） (2021-10-06T15:59:43Z)
• SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers [91.09957836250209]
  ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。 CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。 我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
  論文  参考訳（メタデータ） (2021-07-07T02:59:21Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。