論文の概要: Enhancing Graph Transformers with Hierarchical Distance Structural
Encoding
- arxiv url: http://arxiv.org/abs/2308.11129v3
- Date: Tue, 6 Feb 2024 05:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 11:34:45.079758
- Title: Enhancing Graph Transformers with Hierarchical Distance Structural
Encoding
- Title(参考訳): 階層的距離構造エンコーディングによるグラフトランスの拡張
- Authors: Yuankai Luo
- Abstract要約: 本稿では,グラフ内のノード距離をモデル化するための階層的距離構造(HDSE)手法を提案する。
本稿では,既存のグラフ変換器の注意機構にHDSEをシームレスに統合する新しいフレームワークを提案する。
我々は,HDSEを用いたグラフトランスフォーマーがグラフ分類,7つのグラフレベルのデータセットの回帰,12の大規模グラフのノード分類において優れていることを示す。
- 参考スコア(独自算出の注目度): 0.7770029179741429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph transformers need strong inductive biases to derive meaningful
attention scores. Yet, current methods often fall short in capturing longer
ranges, hierarchical structures, or community structures, which are common in
various graphs such as molecules, social networks, and citation networks. This
paper presents a Hierarchical Distance Structural Encoding (HDSE) method to
model node distances in a graph, focusing on its multi-level, hierarchical
nature. We introduce a novel framework to seamlessly integrate HDSE into the
attention mechanism of existing graph transformers, allowing for simultaneous
application with other positional encodings. To apply graph transformer with
HDSE to large-scale graphs, we further propose a hierarchical global attention
mechanism with linear complexity. We theoretically prove the superiority of
HDSE over shortest path distances in terms of expressivity and generalization.
Empirically, we demonstrate that graph transformers with HDSE excel in graph
classification, regression on 7 graph-level datasets, and node classification
on 12 large-scale graphs, including those with up to a billion nodes.
- Abstract(参考訳): グラフトランスフォーマーは、意味のある注意点を導き出すために強い帰納バイアスを必要とする。
しかし、現在の手法は、分子、ソーシャルネットワーク、引用ネットワークなどの様々なグラフでよく見られる、より長い範囲、階層構造、あるいはコミュニティ構造を捉えるのに不足することが多い。
本稿では,グラフ内のノード距離をモデル化するための階層的距離構造符号化(HDSE)手法を提案する。
我々は既存のグラフ変換器の注意機構にHDSEをシームレスに統合する新しいフレームワークを導入し、他の位置符号化と同時適用を可能にした。
大規模グラフにhdseを用いたグラフトランスを適用すべく,線形複雑度を有する階層的グローバルアテンション機構を提案する。
理論上,最短経路距離におけるhdseの優位性を表現性と一般化の観点から証明する。
実験により,HDSEを用いたグラフトランスフォーマーはグラフ分類,7つのグラフレベルのデータセットの回帰,最大10億個のノードを含む12の大規模グラフのノード分類に優れていた。
関連論文リスト
- Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T14:36:38Z) - Transforming Graphs for Enhanced Attribute Clustering: An Innovative
Graph Transformer-Based Method [8.989218350080844]
本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。
Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。
GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
論文 参考訳(メタデータ) (2023-06-20T06:04:03Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - HiGen: Hierarchical Graph Generative Networks [2.3931689873603603]
ほとんどの実世界のグラフは階層構造を示しており、しばしば既存のグラフ生成法で見過ごされる。
本稿では,グラフの階層的な性質を捉え,グラフのサブ構造を粗い方法で連続的に生成するグラフ生成ネットワークを提案する。
このモジュラーアプローチは、大規模で複雑なグラフに対してスケーラブルなグラフ生成を可能にする。
論文 参考訳(メタデータ) (2023-05-30T18:04:12Z) - Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
論文 参考訳(メタデータ) (2023-03-14T20:35:45Z) - Diffusing Graph Attention [15.013509382069046]
任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。
GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。
8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
論文 参考訳(メタデータ) (2023-03-01T16:11:05Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳(メタデータ) (2020-12-17T16:11:47Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳(メタデータ) (2020-10-09T07:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。