論文の概要: Breaking the Expressive Bottlenecks of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2012.07219v1
• Date: Mon, 14 Dec 2020 02:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:43:13.349283
• Title: Breaking the Expressive Bottlenecks of Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの表現的ボトルネックを破る
• Authors: Mingqi Yang, Yanming Shen, Heng Qi, Baocai Yin
• Abstract要約: 近年, weisfeiler-lehman (wl) graph isomorphism test を用いてグラフニューラルネットワーク (gnns) の表現性の測定を行った。 本稿では,強力なアグリゲータを探索することで表現性を向上する。
• 参考スコア（独自算出の注目度）: 26.000304641965947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the Weisfeiler-Lehman (WL) graph isomorphism test was used to measure the expressiveness of graph neural networks (GNNs), showing that the neighborhood aggregation GNNs were at most as powerful as 1-WL test in distinguishing graph structures. There were also improvements proposed in analogy to $k$-WL test ($k>1$). However, the aggregators in these GNNs are far from injective as required by the WL test, and suffer from weak distinguishing strength, making it become expressive bottlenecks. In this paper, we improve the expressiveness by exploring powerful aggregators. We reformulate aggregation with the corresponding aggregation coefficient matrix, and then systematically analyze the requirements of the aggregation coefficient matrix for building more powerful aggregators and even injective aggregators. It can also be viewed as the strategy for preserving the rank of hidden features, and implies that basic aggregators correspond to a special case of low-rank transformations. We also show the necessity of applying nonlinear units ahead of aggregation, which is different from most aggregation-based GNNs. Based on our theoretical analysis, we develop two GNN layers, ExpandingConv and CombConv. Experimental results show that our models significantly boost performance, especially for large and densely connected graphs.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)の表現性を測定するためにWeisfeiler-Lehman(WL)グラフアイソモーフィズムテスト(英語版)が用いられ、グラフ構造を区別する上で、近傍の集約GNNは1-WLテストと同じくらい強力であることが示されている。 また、$k$-WLテスト(k>1$)に類似して提案された改善もある。 しかしながら、これらのGNNの凝集体はWL試験で要求される射出性には程遠いため、強度の差が弱いため、表現的ボトルネックとなる。 本稿では,強力なアグリゲータを探索することで表現性を向上する。 集約係数行列を用いてアグリゲーションを再構成し,さらに強力なアグリゲータやインジェクティブアグリゲータを構築するために,アグリゲーション係数行列の要件を体系的に解析する。 また、隠れた特徴のランクを保存する戦略と見なすことができ、基本アグリゲータが低階変換の特別な場合に対応することを示唆する。 また,集約型GNNと異なる非線型単位を集約前に適用することの必要性も示した。 理論的解析に基づいて,GNN層であるExpandingConvとCombConvを開発した。 実験の結果, 大規模かつ密結合グラフでは, モデルの性能が著しく向上することがわかった。

関連論文リスト

• Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization [30.86182962089487]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを扱うための学習アーキテクチャの強力なカテゴリとして登場した。 我々は SUbgraph-sPEcific FactoR Embedded Normalization (SuperNorm) と呼ばれる専用プラグアンドプレイ正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-05-31T14:37:31Z)
• Equivariant Polynomials for Graph Neural Networks [38.15983687193912]
  グラフネットワーク(GNN)は本質的に表現力に制限がある。 本稿では、GNNがある程度の同変を計算する能力に基づく代替パワー階層を提案する。 これらの強化されたGNNは、複数のグラフ学習ベンチマークの実験において最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-02-22T18:53:38Z)
• Representation Power of Graph Neural Networks: Improved Expressivity via Algebraic Analysis [124.97061497512804]
  標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。 また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
  論文  参考訳（メタデータ） (2022-05-19T18:40:25Z)
• A Theoretical Comparison of Graph Neural Network Extensions [10.482805367361818]
  Wesfeiler-Lemanテスト以外のGNNの表現力を高めるグラフニューラルネットワーク拡張について検討し比較する。 それぞれの拡張に対して特に困難である負の例を示し、これらの拡張がグラフの傾きとサイクルを数えることができるといういくつかの主張を証明します。
  論文  参考訳（メタデータ） (2022-01-30T17:21:24Z)
• Graph Neural Networks with Parallel Neighborhood Aggregations for Graph Classification [14.112444998191698]
  グラフニューラルネットワーク(GNN)モデルを用いたグラフ分類に着目し、並列に配置された近傍グラフ演算子のバンクを用いてノード特徴をプリ計算する。 これらのGNNモデルには、事前計算によるトレーニングと推論時間の削減という自然な利点がある。 本研究は,様々な実世界のデータセット上で,開発モデルが最先端の性能を達成することを数値実験により実証する。
  論文  参考訳（メタデータ） (2021-11-22T19:19:40Z)
• Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks [127.32203532517953]
  我々は,GNNパラメータとグラフ特徴をバイナライズするバニラ1ビットフレームワークを開発した。 軽量なアーキテクチャにもかかわらず、我々はこのバニラフレームワークがグラフトポロジを区別するのに十分な差別力に悩まされていることを観察した。 この発見は、バニラ二項化GNNの表現力を向上させるためにメタアグリゲータを考案する動機となる。
  論文  参考訳（メタデータ） (2021-09-27T08:50:37Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting [63.04999833264299]
  グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。 Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。 グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T15:30:31Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。