論文の概要: SEA: Graph Shell Attention in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2110.10674v1
• Date: Wed, 20 Oct 2021 17:32:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 14:35:17.392334
• Title: SEA: Graph Shell Attention in Graph Neural Networks
• Title（参考訳）: SEA: グラフニューラルネットワークにおけるグラフシェルの注意
• Authors: Christian M.M. Frey, Yunpu Ma, Matthias Schubert
• Abstract要約: グラフニューラルネットワーク(GNN)の一般的な問題は、オーバー・スムーシング(over-smoothing)として知られている。 本研究では、ルーティングを実装することでGNNアーキテクチャを緩和し、特にノードの表現を専用の専門家にルーティングする。 この手順をグラフシェル注意(SEA)と呼び、専門家がトランスフォーマーを動機づけた方法で異なるサブグラフを処理する。
• 参考スコア（独自算出の注目度）: 8.565134944225491
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A common issue in Graph Neural Networks (GNNs) is known as over-smoothing. By increasing the number of iterations within the message-passing of GNNs, the nodes' representations of the input graph align with each other and become indiscernible. Recently, it has been shown that increasing a model's complexity by integrating an attention mechanism yields more expressive architectures. This is majorly contributed to steering the nodes' representations only towards nodes that are more informative than others. Transformer models in combination with GNNs result in architectures including Graph Transformer Layers (GTL), where layers are entirely based on the attention operation. However, the calculation of a node's representation is still restricted to the computational working flow of a GNN. In our work, we relax the GNN architecture by means of implementing a routing heuristic. Specifically, the nodes' representations are routed to dedicated experts. Each expert calculates the representations according to their respective GNN workflow. The definitions of distinguishable GNNs result from k-localized views starting from the central node. We call this procedure Graph Shell Attention (SEA), where experts process different subgraphs in a transformer-motivated fashion. Intuitively, by increasing the number of experts, the models gain in expressiveness such that a node's representation is solely based on nodes that are located within the receptive field of an expert. We evaluate our architecture on various benchmark datasets showing competitive results compared to state-of-the-art models.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の一般的な問題はオーバースムーシングとして知られている。 gnnのメッセージパス内のイテレーション数を増やすことにより、入力グラフのノード表現は互いに一致し、識別不能となる。 近年,注意機構の統合によるモデルの複雑さの増大は,より表現力のあるアーキテクチャをもたらすことが示されている。 これは主に、ノードの表現を他のノードよりもより情報性の高いノードにのみ向けることに貢献している。 gnnと組み合わせたトランスフォーマーモデルでは、グラフトランスフォーマー層(gtl)を含むアーキテクチャが実現される。 しかし、ノードの表現の計算は依然としてGNNの計算作業フローに限定されている。 本稿では,ルーティングヒューリスティックを実装することで,GNNアーキテクチャを緩和する。 具体的には、ノードの表現は専用の専門家にルーティングされる。 各専門家はそれぞれのGNNワークフローに従って表現を計算する。 識別可能なGNNの定義は、中央ノードから始まるkローカライズされたビューから生じる。 この手順をsea(graph shell attention)と呼び、トランスフォーマーによって異なるサブグラフを処理します。 直感的には、専門家の数を増やすことによって、そのモデルは、専門家の受容フィールド内に位置するノードのみに基づいて、ノードの表現が表現力を高める。 我々は,最先端モデルと比較して競争力のある結果を示すベンチマークデータセット上でアーキテクチャを評価する。

関連論文リスト

• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Feature Correlation Aggregation: on the Path to Better Graph Neural Networks [37.79964911718766]
  グラフニューラルネットワーク(GNN)が導入される以前、不規則なデータ、特にグラフのモデリングと解析は、ディープラーニングのアキレスのヒールであると考えられていた。 本稿では,GNNのコア操作に対して,極めて単純かつ無作為な修正を施した中央ノード置換変分関数を提案する。 モデルの具体的な性能向上は、モデルがより少ないパラメータを使用しながら、有意なマージンで過去の最先端結果を上回った場合に観察される。
  論文  参考訳（メタデータ） (2021-09-20T05:04:26Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
  グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。 本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。 14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2020-10-01T07:52:06Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。