論文の概要: Boosting Graph Neural Networks by Injecting Pooling in Message Passing

• arxiv url: http://arxiv.org/abs/2202.04768v1
• Date: Tue, 8 Feb 2022 08:21:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 14:42:16.365426
• Title: Boosting Graph Neural Networks by Injecting Pooling in Message Passing
• Title（参考訳）: メッセージパッシングにおけるポーリング注入によるグラフニューラルネットワークの強化
• Authors: Hyeokjin Kwon, Jong-Min Lee
• Abstract要約: オーバースムーシングを防止するために,新しい,適応可能な,強力なMPフレームワークを提案する。 我々の両側MPは、ノードのクラス情報を利用して、ペアワイズなモジュラー勾配を推定する。 5つの中規模ベンチマークデータセットの実験から、二値MPは過度なスムーシングを緩和することで性能を向上させることが示されている。
• 参考スコア（独自算出の注目度）: 4.952681349410351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been tremendous success in the field of graph neural networks (GNNs) as a result of the development of the message-passing (MP) layer, which updates the representation of a node by combining it with its neighbors to address variable-size and unordered graphs. Despite the fruitful progress of MP GNNs, their performance can suffer from over-smoothing, when node representations become too similar and even indistinguishable from one another. Furthermore, it has been reported that intrinsic graph structures are smoothed out as the GNN layer increases. Inspired by the edge-preserving bilateral filters used in image processing, we propose a new, adaptable, and powerful MP framework to prevent over-smoothing. Our bilateral-MP estimates a pairwise modular gradient by utilizing the class information of nodes, and further preserves the global graph structure by using the gradient when the aggregating function is applied. Our proposed scheme can be generalized to all ordinary MP GNNs. Experiments on five medium-size benchmark datasets using four state-of-the-art MP GNNs indicate that the bilateral-MP improves performance by alleviating over-smoothing. By inspecting quantitative measurements, we additionally validate the effectiveness of the proposed mechanism in preventing the over-smoothing issue.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)の分野では、mp層(message-passing (mp) layer)の開発によって大きな成功を収めている。 MP GNNは実りある進歩にもかかわらず、ノード表現が似過ぎ、互いに区別がつかなくなると、その性能は過度に滑らかになる。 さらに,GNN層の増加に伴い,固有グラフ構造がスムーズ化されることが報告されている。 画像処理に使用されるエッジ保存二元フィルタにインスパイアされた我々は,過度なスムーシングを防止するために,新しい適応性と強力なMPフレームワークを提案する。 提案手法は,ノードのクラス情報を利用して一対のモジュラー勾配を推定し,集約関数を適用した場合の勾配を用いて大域グラフ構造を保存できる。 提案手法を一般のMP GNNに一般化することができる。 4つの最先端MP GNNを用いた5つの中規模ベンチマークデータセットの実験により、両MPは過度なスムーシングを緩和することで性能を向上させることが示された。 定量的な測定を行ない, オーバースムース化防止のためのメカニズムの有効性を検証した。

関連論文リスト

• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
  グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。 本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。 提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-06T05:00:31Z)
• GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing [0.0]
  GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。 GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。 提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
  論文  参考訳（メタデータ） (2023-11-26T22:22:38Z)
• Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks [46.14626839260314]
  現在のグラフニューラルネットワーク(GNN)は、特定のデータセットで学習するすべてのGNNモデルに根ざした問題要因である可能性が示されている。 集約操作をそれらの双対、すなわち、ノードをより明確にし、アイデンティティを保存する多様化演算子で拡張する。 このような拡張は、アグリゲーションを2チャネルのフィルタリングプロセスに置き換え、理論上、ノード表現を豊かにするのに役立つ。 実験では,モデルの望ましい特性と,9ノード分類タスクのベースライン上での大幅な性能向上について検討した。
  論文  参考訳（メタデータ） (2022-12-21T07:24:03Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Hierarchical graph neural nets can capture long-range interactions [8.067880298298185]
  与えられたグラフの多重解像度表現を利用する階層的メッセージパッシングモデルについて検討する。 これにより、ローカル情報を失うことなく、大きな受容領域にまたがる特徴の学習が容易になる。 階層グラフネット(HGNet)を導入し、任意の2つの接続ノードに対して、最大対数長のメッセージパスパスが存在することを保証します。
  論文  参考訳（メタデータ） (2021-07-15T16:24:22Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
  グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。 本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。 このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
  論文  参考訳（メタデータ） (2020-02-10T06:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。