論文の概要: Graph Neural Networks with Learnable Structural and Positional Representations

• arxiv url: http://arxiv.org/abs/2110.07875v1
• Date: Fri, 15 Oct 2021 05:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 02:50:55.800993
• Title: Graph Neural Networks with Learnable Structural and Positional Representations
• Title（参考訳）: 学習可能な構造と位置表現を持つグラフニューラルネットワーク
• Authors: Vijay Prakash Dwivedi, Anh Tuan Luu, Thomas Laurent, Yoshua Bengio, Xavier Bresson
• Abstract要約: 任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
• 参考スコア（独自算出の注目度）: 83.24058411666483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 2.87% up to 64.14% when considering learnable PE for both GNN classes.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフの標準的な学習アーキテクチャとなっている。 GNNは、量子化学、推薦システム、知識グラフ、自然言語処理など、多くの分野に適用されている。 任意のグラフの大きな問題は、ノードの標準位置情報の欠如であり、同型ノードや他のグラフ対称性を区別するためにGNNの表現力を低下させる。 この問題に対処するためのアプローチは、ノードの位置エンコーディング(PE)を導入し、Transformerのように入力層に注入することだ。 可能なグラフpeはラプラシアン固有ベクトルである。 本研究では,構造表現と位置表現を分離し,ネットワークがこれら2つの本質的性質を容易に学習できるようにする。 LSPE(Learnable Structure and Positional Encodings)と呼ばれる新しい汎用アーキテクチャを導入する。 本研究では,gnnクラスで学習可能なpeを考慮すれば,分子データセットの性能が2.87%から64.14%に向上することを示す。

関連論文リスト

• Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
  グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。 本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。 提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-06T05:00:31Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• How hard is to distinguish graphs with graph neural networks? [32.09819774228997]
  本研究では,メッセージパッシングモデル(MPNN)におけるグラフアイソモーフィズムの分類変種に対する硬度結果の導出を行う。 MPNNは、今日のグラフニューラルネットワークの大部分を包含しており、ノードにユニークな特徴が与えられた場合、普遍的である。 12のグラフ分類タスクと420のネットワークを含む実証的研究は、実際の性能と理論的予測の間に強い整合性を示す。
  論文  参考訳（メタデータ） (2020-05-13T22:28:46Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)
• Geom-GCN: Geometric Graph Convolutional Networks [15.783571061254847]
  本稿では,この2つの弱点を克服するために,グラフニューラルネットワークのための新しい幾何集約手法を提案する。 提案したアグリゲーションスキームは置換不変であり、ノード埋め込み、構造近傍、二レベルアグリゲーションという3つのモジュールから構成される。 また,このスキームをGeom-GCNと呼ばれるグラフ畳み込みネットワークに実装し,グラフ上でトランスダクティブ学習を行う。
  論文  参考訳（メタデータ） (2020-02-13T00:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。