論文の概要: Transformers for Capturing Multi-level Graph Structure using
Hierarchical Distances
- arxiv url: http://arxiv.org/abs/2308.11129v1
- Date: Tue, 22 Aug 2023 02:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 19:28:43.480798
- Title: Transformers for Capturing Multi-level Graph Structure using
Hierarchical Distances
- Title(参考訳): 階層的距離を用いた多層グラフ構造の変換器
- Authors: Yuankai Luo
- Abstract要約: グラフ内のノード間の階層的距離を,その多層的,階層的な性質に着目した階層的構造符号化(HDSE)を提案する。
提案手法は, 各種ベースライン変圧器の改良に成功し, 10個のベンチマークデータセット上で, 最先端の実証的な性能を実現した。
- 参考スコア(独自算出の注目度): 0.7770029179741429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph transformers need strong inductive biases to derive meaningful
attention scores. Yet, current proposals rarely address methods capturing
longer ranges, hierarchical structures, or community structures, as they appear
in various graphs such as molecules, social networks, and citation networks. In
this paper, we propose a hierarchy-distance structural encoding (HDSE), which
models a hierarchical distance between the nodes in a graph focusing on its
multi-level, hierarchical nature. In particular, this yields a framework which
can be flexibly integrated with existing graph transformers, allowing for
simultaneous application with other positional representations. Through
extensive experiments on 12 real-world datasets, we demonstrate that our HDSE
method successfully enhances various types of baseline transformers, achieving
state-of-the-art empirical performances on 10 benchmark datasets.
- Abstract(参考訳): グラフトランスフォーマーは、意味のある注意点を導き出すために強い帰納バイアスを必要とする。
しかし、現在の提案は、分子、ソーシャルネットワーク、引用ネットワークなどの様々なグラフに現れるように、長い範囲、階層構造、またはコミュニティ構造をキャプチャする手法にはほとんど対処しない。
本稿では,階層構造符号化(HDSE)を提案し,その階層的特徴に着目したグラフ内のノード間の階層的距離をモデル化する。
特に、これは既存のグラフ変換器と柔軟に統合可能なフレームワークをもたらし、他の位置表現との同時適用を可能にします。
実世界の12のデータセットに対する広範な実験を通じて、HDSE法は様々な種類のベースライントランスフォーマーを向上し、10のベンチマークデータセット上で最先端の実証的なパフォーマンスを達成することを実証した。
関連論文リスト
- Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T14:36:38Z) - Transforming Graphs for Enhanced Attribute Clustering: An Innovative
Graph Transformer-Based Method [8.989218350080844]
本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。
Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。
GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
論文 参考訳(メタデータ) (2023-06-20T06:04:03Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - HiGen: Hierarchical Graph Generative Networks [2.3931689873603603]
ほとんどの実世界のグラフは階層構造を示しており、しばしば既存のグラフ生成法で見過ごされる。
本稿では,グラフの階層的な性質を捉え,グラフのサブ構造を粗い方法で連続的に生成するグラフ生成ネットワークを提案する。
このモジュラーアプローチは、大規模で複雑なグラフに対してスケーラブルなグラフ生成を可能にする。
論文 参考訳(メタデータ) (2023-05-30T18:04:12Z) - Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
論文 参考訳(メタデータ) (2023-03-14T20:35:45Z) - Diffusing Graph Attention [15.013509382069046]
任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。
GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。
8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
論文 参考訳(メタデータ) (2023-03-01T16:11:05Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳(メタデータ) (2020-12-17T16:11:47Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳(メタデータ) (2020-10-09T07:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。