論文の概要: Generalizing Aggregation Functions in GNNs:High-Capacity GNNs via
Nonlinear Neighborhood Aggregators
- arxiv url: http://arxiv.org/abs/2202.09145v1
- Date: Fri, 18 Feb 2022 11:49:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 13:15:25.516337
- Title: Generalizing Aggregation Functions in GNNs:High-Capacity GNNs via
Nonlinear Neighborhood Aggregators
- Title（参考訳）: GNNにおける一般化アグリゲーション関数:非線形近傍アグリゲータによる高容量GNN
- Authors: Beibei Wang and Bo Jiang
- Abstract要約: グラフニューラルネットワーク(GNN)は多くのグラフ学習タスクで大きな成功を収めている。
既存のGNNは主に、メッセージの伝搬に線形近傍集約(平均,sum)または最大アグリゲータ(max aggregator)を採用する。
我々は、GNNにおけるメッセージ伝達機構を再考し、GNNにおける近隣情報集約のための一般的な非線形アグリゲータの開発を目指す。
- 参考スコア（独自算出の注目度）: 14.573383849211773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have achieved great success in many graph
learning tasks. The main aspect powering existing GNNs is the multi-layer
network architecture to learn the nonlinear graph representations for the
specific learning tasks. The core operation in GNNs is message propagation in
which each node updates its representation by aggregating its neighbors'
representations. Existing GNNs mainly adopt either linear neighborhood
aggregation (mean,sum) or max aggregator in their message propagation. (1) For
linear aggregators, the whole nonlinearity and network's capacity of GNNs are
generally limited due to deeper GNNs usually suffer from over-smoothing issue.
(2) For max aggregator, it usually fails to be aware of the detailed
information of node representations within neighborhood. To overcome these
issues, we re-think the message propagation mechanism in GNNs and aim to
develop the general nonlinear aggregators for neighborhood information
aggregation in GNNs. One main aspect of our proposed nonlinear aggregators is
that they provide the optimally balanced aggregators between max and mean/sum
aggregations. Thus, our aggregators can inherit both (i) high nonlinearity that
increases network's capacity and (ii) detail-sensitivity that preserves the
detailed information of representations together in GNNs' message propagation.
Promising experiments on several datasets show the effectiveness of the
proposed nonlinear aggregators.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は多くのグラフ学習タスクで大きな成功を収めている。
既存のGNNを支えている主な側面は、学習タスクの非線形グラフ表現を学習する多層ネットワークアーキテクチャである。
GNNのコア操作はメッセージの伝搬であり、各ノードは隣人の表現を集約することでその表現を更新する。
既存のGNNは主に、メッセージの伝搬に線形近傍集約(平均,sum)または最大アグリゲータを採用する。
1) 線形アグリゲータの場合,GNNの非線型性とネットワークの容量は,通常,過度にスムースな問題に悩まされるため,一般に制限される。
2) 最大アグリゲータの場合、近隣のノード表現の詳細な情報を認識できないのが普通である。
これらの問題を克服するために,gnnにおけるメッセージ伝達機構を再考し,gnnにおける近傍情報集約のための一般非線形アグリゲータの開発を目指す。
提案する非線形アグリゲータの主な特徴は,maxと平均/平均アグリゲータ間の最適バランスアグリゲータを提供することである。
このアグリゲータは 両方を継承できます
(i)ネットワークの容量を増加させる高非線形性
(II)GNNのメッセージ伝達において、表現の詳細な情報を一緒に保存する詳細感度。
複数のデータセットにおける有望な実験は、提案する非線形アグリゲータの有効性を示している。
関連論文リスト
- GGNNs : Generalizing GNNs using Residual Connections and Weighted
Message Passing [0.0]
GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。
GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。
提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
論文 参考訳（メタデータ） (2023-11-26T22:22:38Z) - GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。
GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。
本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
論文 参考訳（メタデータ） (2023-03-20T18:24:01Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - AdaGNN: A multi-modal latent representation meta-learner for GNNs based
on AdaBoosting [0.38073142980733]
グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。
GNNのための強化型メタラーナを提案する。
AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
論文 参考訳（メタデータ） (2021-08-14T03:07:26Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Enhance Information Propagation for Graph Neural Network by
Heterogeneous Aggregations [7.3136594018091134]
グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。
ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。
我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
論文 参考訳（メタデータ） (2021-02-08T08:57:56Z) - Identity-aware Graph Neural Networks [63.6952975763946]
グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。
ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。
既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
論文 参考訳（メタデータ） (2021-01-25T18:59:01Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z) - The Surprising Power of Graph Neural Networks with Random Node
Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。
標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。
本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。
我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文 参考訳（メタデータ） (2020-10-02T19:53:05Z) - Generalization and Representational Limits of Graph Neural Networks [46.20253808402385]
ローカル情報に完全に依存するグラフニューラルネットワーク(GNN)では,いくつかの重要なグラフ特性を計算できないことを示す。
メッセージパッシングGNNに対する最初のデータ依存一般化境界を提供する。
私たちのバウンダリは、既存のVC次元ベースのGNN保証よりもはるかに厳格で、リカレントニューラルネットワークのRademacherバウンダリと同等です。
論文 参考訳（メタデータ） (2020-02-14T18:10:14Z) - Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。
本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。
このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
論文 参考訳（メタデータ） (2020-02-10T06:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。