論文の概要: Towards Principled Graph Transformers
- arxiv url: http://arxiv.org/abs/2401.10119v1
- Date: Thu, 18 Jan 2024 16:50:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 16:01:01.225465
- Title: Towards Principled Graph Transformers
- Title(参考訳): 原理グラフトランスフォーマーを目指して
- Authors: Luis M\"uller and Christopher Morris
- Abstract要約: k次元Weisfeiler-Leman(k-WL)階層に基づくグラフ学習アーキテクチャは、理論的によく理解された表現力を提供する。
グラフトランスフォーマーのようなグローバルアテンションベースのモデルは、実際に高いパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 5.960350232469831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph learning architectures based on the k-dimensional Weisfeiler-Leman
(k-WL) hierarchy offer a theoretically well-understood expressive power.
However, such architectures often fail to deliver solid predictive performance
on real-world tasks, limiting their practical impact. In contrast, global
attention-based models such as graph transformers demonstrate strong
performance in practice, but comparing their expressive power with the k-WL
hierarchy remains challenging, particularly since these architectures rely on
positional or structural encodings for their expressivity and predictive
performance. To address this, we show that the recently proposed Edge
Transformer, a global attention model operating on node pairs instead of nodes,
has at least 3-WL expressive power. Empirically, we demonstrate that the Edge
Transformer surpasses other theoretically aligned architectures regarding
predictive performance while not relying on positional or structural encodings.
- Abstract(参考訳): k次元Weisfeiler-Leman(k-WL)階層に基づくグラフ学習アーキテクチャは、理論的によく理解された表現力を提供する。
しかし、そのようなアーキテクチャは現実のタスクにしっかりとした予測性能を持たず、実際の影響を限定することが多い。
対照的に、グラフトランスフォーマーのようなグローバルな注意に基づくモデルは、実際には強力なパフォーマンスを示しているが、表現力とk-wl階層との比較は、特にこれらのアーキテクチャが表現力と予測性能のために位置エンコーディングや構造エンコーディングに依存しているため、依然として困難である。
そこで本研究では,ノードではなくノードペアで動作するグローバルアテンションモデルであるEdge Transformerが,少なくとも3WLの表現力を持つことを示す。
実験的に、Edge Transformerは、位置や構造的エンコーディングを頼らずに、予測性能に関する他の理論的に整合したアーキテクチャを上回ることを実証する。
関連論文リスト
- AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers [35.04198789195943]
グラフ変換器(GT)のための新しいアテンションアーキテクチャであるAnchorGTを提案する。
アンカーベースGNNにインスパイアされ、構造的に重要な$k$支配ノードセットをアンカーとして採用し、個々のノードとアンカーの関係に着目したアテンションメカニズムを設計する。
直感的な設計により、AnchorGTは様々なGTモデルのアテンションモジュールを異なるネットワークアーキテクチャで簡単に置き換えることができる。
論文 参考訳(メタデータ) (2024-05-06T13:53:09Z) - Todyformer: Towards Holistic Dynamic Graph Transformers with
Structure-Aware Tokenization [6.799413002613627]
Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。
メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。
Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2024-02-02T23:05:30Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - On Structural Expressive Power of Graph Transformers [26.84413369075598]
一般化グラフ同型テストアルゴリズムである textbfSEG-WL test (textbfStructural textbfEncoding enhanced textbfWeisfeiler-textbfLehman test) を導入する。
構造符号化の設計により,グラフ変換器の表現力がどのように決定されるかを示す。
論文 参考訳(メタデータ) (2023-05-23T12:12:21Z) - Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。
ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。
本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-03-01T15:22:40Z) - Dynamic Spatial Sparsification for Efficient Vision Transformers and
Convolutional Neural Networks [88.77951448313486]
視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。
本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。
提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
論文 参考訳(メタデータ) (2022-07-04T17:00:51Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2022-06-29T00:23:25Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。
提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
論文 参考訳(メタデータ) (2020-02-19T08:17:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。