論文の概要: Edge-augmented Graph Transformers: Global Self-attention is Enough for Graphs

• arxiv url: http://arxiv.org/abs/2108.03348v1
• Date: Sat, 7 Aug 2021 02:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:13:47.324638
• Title: Edge-augmented Graph Transformers: Global Self-attention is Enough for Graphs
• Title（参考訳）: エッジ型グラフトランスフォーマー: グラフにはグローバルな自己完結だけで十分
• Authors: Md Shamim Hussain, Mohammed J. Zaki and Dharmashankar Subramanian
• Abstract要約: 本稿では,変圧器の残差エッジチャネルに対する簡易かつ強力な拡張を提案する。 結果として得られるフレームワークは、Edge-augmented Graph Transformer (EGT)と呼ばれ、ノード情報だけでなく、構造情報を直接受け入れ、処理し、出力することができる。 我々のフレームワークはグローバルノードの特徴集約に依存しており、グラフ畳み込みネットワーク(GCN)よりも優れたパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 24.796242917673755
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer neural networks have achieved state-of-the-art results for unstructured data such as text and images but their adoption for graph-structured data has been limited. This is partly due to the difficulty in incorporating complex structural information in the basic transformer framework. We propose a simple yet powerful extension to the transformer - residual edge channels. The resultant framework, which we call Edge-augmented Graph Transformer (EGT), can directly accept, process and output structural information as well as node information. This simple addition allows us to use global self-attention, the key element of transformers, directly for graphs and comes with the benefit of long-range interaction among nodes. Moreover, the edge channels allow the structural information to evolve from layer to layer, and prediction tasks on edges can be derived directly from these channels. In addition to that, we introduce positional encodings based on Singular Value Decomposition which can improve the performance of EGT. Our framework, which relies on global node feature aggregation, achieves better performance compared to Graph Convolutional Networks (GCN), which rely on local feature aggregation within a neighborhood. We verify the performance of EGT in a supervised learning setting on a wide range of experiments on benchmark datasets. Our findings indicate that convolutional aggregation is not an essential inductive bias for graphs and global self-attention can serve as a flexible and adaptive alternative to graph convolution.
• Abstract（参考訳）: トランスフォーマリンニューラルネットワークは、テキストや画像などの非構造化データに対して最先端の結果を得たが、グラフ構造化データへの採用は限られている。 これは部分的には、基本的なトランスフレームワークに複雑な構造情報を組み込むのが難しいためである。 本稿では,変圧器のエッジチャネルに対する簡易かつ強力な拡張を提案する。 結果として得られるフレームワークは、Edge-augmented Graph Transformer (EGT)と呼ばれ、ノード情報だけでなく、構造情報を直接受け入れ、処理し、出力することができる。 この単純な追加により、トランスフォーマーのキー要素であるグローバルな自己アテンションをグラフに直接使用することができ、ノード間の長距離インタラクションの恩恵を受けることができます。 さらに、エッジチャネルは構造情報を層から層へと進化させ、エッジ上の予測タスクをこれらのチャネルから直接引き出すことができる。 さらに,EGTの性能を向上させるために,特異値分解に基づく位置符号化を導入する。 我々のフレームワークはグローバルなノード機能集約に依存しており、周辺地域のローカル機能集約に依存しているグラフ畳み込みネットワーク(GCN)よりも優れたパフォーマンスを実現している。 ベンチマークデータセットの幅広い実験において,教師付き学習環境におけるEGTの性能を検証する。 この結果から,畳み込み集約はグラフに必須な帰納的バイアスではなく,グローバルな自己意識がグラフ畳み込みの柔軟で適応的な代替手段となる可能性が示唆された。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Hybrid Focal and Full-Range Attention Based Graph Transformers [0.0]
  本稿では,Focal と Full-Range Graph Transformer (FFGT) という,純粋に注目に基づくアーキテクチャを提案する。 FFGTは、従来のフルレンジアテンションとエゴネットへのKホップアテンションを組み合わせることで、グローバル情報とローカル情報の両方を集約する。 提案手法は,各種オープンデータセット上での既存のグラフ変換器の性能を向上させる。
  論文  参考訳（メタデータ） (2023-11-08T12:53:07Z)
• Transitivity-Preserving Graph Representation Learning for Bridging Local Connectivity and Role-based Similarity [2.5252594834159643]
  局所的およびグローバルな構造情報を固定長ベクトル表現に統合するUnified Graph Transformer Networks (UGT)を提案する。 まず、UGTは各ノードの局所的な部分構造を特定し、各ノードの$k$ホップ近傍の特徴を集約することによって局所構造を学習する。 第三に、UGTは自己アテンションを通じて統一表現を学び、構造距離とノードペア間の$p$ステップ遷移確率を符号化する。
  論文  参考訳（メタデータ） (2023-08-18T12:49:57Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Self-Attention in Colors: Another Take on Encoding Graph Structure in Transformers [25.683127388426175]
  CSA(Chromatic Self-Attention)と呼ばれる新しい自己認識機構を導入する。 完全アテンショナルグラフ変換器CGT(Chromatic Graph Transformer)におけるCSAの紹介
  論文  参考訳（メタデータ） (2023-04-21T13:08:53Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。