論文の概要: Learning Graph Normalization for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2009.11746v1
• Date: Thu, 24 Sep 2020 15:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:22:41.843662
• Title: Learning Graph Normalization for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための学習グラフ正規化
• Authors: Yihao Chen, Xin Tang, Xianbiao Qi, Chun-Guang Li, Rong Xiao
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理するための新しい将来性のあるパラダイムとして注目されている。 GNNを複数の層で効果的に訓練するには、いくつかの正規化技術(ノードワイド正規化、バッチワイド正規化など)が必要である。 グラフ正規化手法の重み付け組合せを4つの異なるレベルで最適化することにより、グラフ正規化を学習する。
• 参考スコア（独自算出の注目度）: 9.481176167555164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have attracted considerable attention and have emerged as a new promising paradigm to process graph-structured data. GNNs are usually stacked to multiple layers and the node representations in each layer are computed through propagating and aggregating the neighboring node features with respect to the graph. By stacking to multiple layers, GNNs are able to capture the long-range dependencies among the data on the graph and thus bring performance improvements. To train a GNN with multiple layers effectively, some normalization techniques (e.g., node-wise normalization, batch-wise normalization) are necessary. However, the normalization techniques for GNNs are highly task-relevant and different application tasks prefer to different normalization techniques, which is hard to know in advance. To tackle this deficiency, in this paper, we propose to learn graph normalization by optimizing a weighted combination of normalization techniques at four different levels, including node-wise normalization, adjacency-wise normalization, graph-wise normalization, and batch-wise normalization, in which the adjacency-wise normalization and the graph-wise normalization are newly proposed in this paper to take into account the local structure and the global structure on the graph, respectively. By learning the optimal weights, we are able to automatically select a single best or a best combination of multiple normalizations for a specific task. We conduct extensive experiments on benchmark datasets for different tasks, including node classification, link prediction, graph classification and graph regression, and confirm that the learned graph normalization leads to competitive results and that the learned weights suggest the appropriate normalization techniques for the specific task. Source code is released here https://github.com/cyh1112/GraphNormalization.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ構造化データを処理するための新しい有望なパラダイムとして注目されている。 GNNは通常、複数のレイヤに積み重ねられ、各レイヤのノード表現は、グラフに関する隣り合うノードの特徴の伝播と集約によって計算される。 複数のレイヤにスタックすることで、GNNはグラフ上のデータ間の長距離依存関係をキャプチャし、パフォーマンスを改善することができる。 GNNを複数の層で効果的に訓練するには、いくつかの正規化技術(ノードワイド正規化、バッチワイド正規化など)が必要である。 しかし、GNNの正規化技術は非常にタスク関連であり、異なるアプリケーションタスクは、事前に知るのが難しい異なる正規化技術を好む。 そこで本論文では,正規化手法の重み付け結合をノード単位の正規化,隣接点の正規化,グラフ単位の正規化,バッチ単位の正規化という4つの異なるレベルで最適化し,グラフの局所構造と大域構造をそれぞれ考慮し,グラフの正規化とグラフ単位の正規化を新たに提案する。 最適な重みを学習することで、特定のタスクに対する複数の正規化のベストまたはベストの組み合わせを自動的に選択できます。 ノード分類,リンク予測,グラフ分類,グラフ回帰など,さまざまなタスクのためのベンチマークデータセットに関する広範な実験を行い,学習グラフの正規化が競合結果につながり,学習重みが特定のタスクに適した正規化手法を示唆することを確認した。 ソースコードはhttps://github.com/cyh1112/graphnormalization。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• GRANOLA: Adaptive Normalization for Graph Neural Networks [28.993479890213617]
  グラフニューラルネットワーク(GNN)層に対するグラフ適応正規化層であるGRANOLAを提案する。 既存の正規化レイヤとは異なり、GRANOLAはグラフの特定の特性に適応してノードの特徴を正規化する。 各種グラフベンチマークの実証評価は,既存の正規化手法よりもGRANOLAの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-04-20T10:44:13Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Adaptive Kernel Graph Neural Network [21.863238974404474]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。 本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。 AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。 評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
  論文  参考訳（メタデータ） (2021-12-08T20:23:58Z)
• GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training [101.3819906739515]
  グラフニューラルネットワーク(GNN)における正規化の有効性について検討する。 BatchNormやLayerNormと比較して、インスタンスNormの方が高速に収束できる。 GraphNormはGNNの一般化も改善し、グラフ分類ベンチマークのパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-07T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。