論文の概要: Transformers for Capturing Multi-level Graph Structure using Hierarchical Distances

• arxiv url: http://arxiv.org/abs/2308.11129v1
• Date: Tue, 22 Aug 2023 02:22:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 19:28:43.480798
• Title: Transformers for Capturing Multi-level Graph Structure using Hierarchical Distances
• Title（参考訳）: 階層的距離を用いた多層グラフ構造の変換器
• Authors: Yuankai Luo
• Abstract要約: グラフ内のノード間の階層的距離を,その多層的,階層的な性質に着目した階層的構造符号化(HDSE)を提案する。 提案手法は, 各種ベースライン変圧器の改良に成功し, 10個のベンチマークデータセット上で, 最先端の実証的な性能を実現した。
• 参考スコア（独自算出の注目度）: 0.7770029179741429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph transformers need strong inductive biases to derive meaningful attention scores. Yet, current proposals rarely address methods capturing longer ranges, hierarchical structures, or community structures, as they appear in various graphs such as molecules, social networks, and citation networks. In this paper, we propose a hierarchy-distance structural encoding (HDSE), which models a hierarchical distance between the nodes in a graph focusing on its multi-level, hierarchical nature. In particular, this yields a framework which can be flexibly integrated with existing graph transformers, allowing for simultaneous application with other positional representations. Through extensive experiments on 12 real-world datasets, we demonstrate that our HDSE method successfully enhances various types of baseline transformers, achieving state-of-the-art empirical performances on 10 benchmark datasets.
• Abstract（参考訳）: グラフトランスフォーマーは、意味のある注意点を導き出すために強い帰納バイアスを必要とする。 しかし、現在の提案は、分子、ソーシャルネットワーク、引用ネットワークなどの様々なグラフに現れるように、長い範囲、階層構造、またはコミュニティ構造をキャプチャする手法にはほとんど対処しない。 本稿では,階層構造符号化(HDSE)を提案し,その階層的特徴に着目したグラフ内のノード間の階層的距離をモデル化する。 特に、これは既存のグラフ変換器と柔軟に統合可能なフレームワークをもたらし、他の位置表現との同時適用を可能にします。 実世界の12のデータセットに対する広範な実験を通じて、HDSE法は様々な種類のベースライントランスフォーマーを向上し、10のベンチマークデータセット上で最先端の実証的なパフォーマンスを達成することを実証した。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Topology-Informed Graph Transformer [7.857955053895979]
  グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。 TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。 TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
  論文  参考訳（メタデータ） (2024-02-03T03:17:44Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Diffusing Graph Attention [15.013509382069046]
  任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。 GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。 8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
  論文  参考訳（メタデータ） (2023-03-01T16:11:05Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• A Generalization of Transformer Networks to Graphs [5.736353542430439]
  標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。 アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
  論文  参考訳（メタデータ） (2020-12-17T16:11:47Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。