論文の概要: Topology-Informed Graph Transformer
- arxiv url: http://arxiv.org/abs/2402.02005v1
- Date: Sat, 3 Feb 2024 03:17:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:05:53.080593
- Title: Topology-Informed Graph Transformer
- Title(参考訳): トポロジーインフォームドグラフトランス
- Authors: Yun Young Choi, Sun Woo Park, Minho Lee, Youngho Woo
- Abstract要約: グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。
TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。
TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
- 参考スコア(独自算出の注目度): 7.857955053895979
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have revolutionized performance in Natural Language Processing
and Vision, paving the way for their integration with Graph Neural Networks
(GNNs). One key challenge in enhancing graph transformers is strengthening the
discriminative power of distinguishing isomorphisms of graphs, which plays a
crucial role in boosting their predictive performances. To address this
challenge, we introduce 'Topology-Informed Graph Transformer (TIGT)', a novel
transformer enhancing both discriminative power in detecting graph isomorphisms
and the overall performance of Graph Transformers. TIGT consists of four
components: A topological positional embedding layer using non-isomorphic
universal covers based on cyclic subgraphs of graphs to ensure unique graph
representation: A dual-path message-passing layer to explicitly encode
topological characteristics throughout the encoder layers: A global attention
mechanism: And a graph information layer to recalibrate channel-wise graph
features for better feature representation. TIGT outperforms previous Graph
Transformers in classifying synthetic dataset aimed at distinguishing
isomorphism classes of graphs. Additionally, mathematical analysis and
empirical evaluations highlight our model's competitive edge over
state-of-the-art Graph Transformers across various benchmark datasets.
- Abstract(参考訳): トランスフォーマーは自然言語処理とビジョンのパフォーマンスに革命をもたらし、グラフニューラルネットワーク(GNN)との統合の道を開いた。
グラフ変換器の強化における重要な課題の1つは、グラフの同型を区別する識別力を強化することである。
この課題に対処するために、グラフ同型の検出における識別能力とグラフトランスの全体的な性能を高める新しいトランスである「トポロジーインフォームドグラフトランスフォーマー(tigt)」を紹介する。
TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いたトポロジカルな位置埋め込み層は、グラフの巡回部分グラフに基づいて、ユニークなグラフ表現を保証する: エンコーダ層全体のトポロジ的特徴を明示的にエンコードするデュアルパスメッセージパス層: グローバルアテンション機構: チャネルワイドグラフ特徴をより優れた特徴表現のために再分類するグラフ情報層。
TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
さらに、数学的解析と経験的評価は、さまざまなベンチマークデータセットにわたる最先端のグラフトランスフォーマーに対する我々のモデルの競合するエッジを強調します。
関連論文リスト
- Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level
Graph Representation Learning [9.039193854524763]
本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。
まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。
次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
論文 参考訳(メタデータ) (2023-12-09T10:16:53Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Transformers over Directed Acyclic Graphs [6.263470141349622]
有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。
グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-24T12:04:52Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳(メタデータ) (2022-07-06T08:13:06Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2022-06-29T00:23:25Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳(メタデータ) (2022-02-17T06:02:06Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳(メタデータ) (2020-12-17T16:11:47Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳(メタデータ) (2020-10-09T07:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。