論文の概要: Towards Deeper Graph Neural Networks with Differentiable Group Normalization

• arxiv url: http://arxiv.org/abs/2006.06972v1
• Date: Fri, 12 Jun 2020 07:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:30:35.428574
• Title: Towards Deeper Graph Neural Networks with Differentiable Group Normalization
• Title（参考訳）: 微分可能群正規化を用いたより深いグラフニューラルネットワーク
• Authors: Kaixiong Zhou, Xiao Huang, Yuening Li, Daochen Zha, Rui Chen, Xia Hu
• Abstract要約: グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
• 参考スコア（独自算出の注目度）: 61.20639338417576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs), which learn the representation of a node by aggregating its neighbors, have become an effective computational tool in downstream applications. Over-smoothing is one of the key issues which limit the performance of GNNs as the number of layers increases. It is because the stacked aggregators would make node representations converge to indistinguishable vectors. Several attempts have been made to tackle the issue by bringing linked node pairs close and unlinked pairs distinct. However, they often ignore the intrinsic community structures and would result in sub-optimal performance. The representations of nodes within the same community/class need be similar to facilitate the classification, while different classes are expected to be separated in embedding space. To bridge the gap, we introduce two over-smoothing metrics and a novel technique, i.e., differentiable group normalization (DGN). It normalizes nodes within the same group independently to increase their smoothness, and separates node distributions among different groups to significantly alleviate the over-smoothing issue. Experiments on real-world datasets demonstrate that DGN makes GNN models more robust to over-smoothing and achieves better performance with deeper GNNs.
• Abstract（参考訳）: 隣接ノードを集約してノードの表現を学ぶグラフニューラルネットワーク(gnns)は、下流アプリケーションにおいて効果的な計算ツールとなっている。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスを制限する重要な問題のひとつです。 それは、積み重ねられたアグリゲータがノード表現を区別できないベクトルに収束させるからである。 接続ノードペアを閉じたペアと無リンクのペアを区別することで、この問題にいくつかの試みがなされている。 しかし、それらはしばしば内在的なコミュニティ構造を無視し、結果として最適以下のパフォーマンスをもたらす。 同じコミュニティ/クラス内のノードの表現は、分類を容易にするのに似ていますが、異なるクラスは埋め込み空間で分けられることが期待されます。 このギャップを埋めるために,2つの過剰スムーシング指標と新しい手法,すなわち微分可能群正規化(dgn)を導入する。 同じグループ内のノードを独立に正規化し、その滑らかさを高め、異なるグループ間のノード分布を分離し、オーバー・スムーシング問題を著しく緩和する。 実世界のデータセットの実験では、DGNがGNNモデルをオーバースムーシングに対してより堅牢にし、より深いGNNでより良いパフォーマンスを達成することを示した。

関連論文リスト

• Learning Personalized Scoping for Graph Neural Networks under Heterophily [3.475704621679017]
  異種ノードが接続する傾向がある不テロ親和性グラフは、グラフニューラルネットワーク(GNN)に挑戦する 我々は、ノード分類におけるGNN過度適合を克服する、個別のスコープ分類問題としてパーソナライズされたスコーピングを形式化する。 本稿では,GNN推論のみに参加する軽量なアプローチであるAdaptive Scope (AS)を提案する。
  論文  参考訳（メタデータ） (2024-09-11T04:13:39Z)
• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Clarify Confused Nodes via Separated Learning [4.282496716373314]
  グラフニューラルネットワーク(GNN)は,グラフ指向タスクにおいて顕著な進歩を遂げている。 実世界のグラフは、必ずある種の不均一なノードを含み、伝統的なGNNのホモフィリーな仮定に挑戦する。 我々は,ノードのより信頼性の高い分離を容易にするため,Nighborhood Confusion(NC)と呼ばれる新しいメトリクスを提案する。
  論文  参考訳（メタデータ） (2023-06-04T07:26:20Z)
• LSGNN: Towards General Graph Neural Network in Node Classification by Local Similarity [59.41119013018377]
  本稿では,ローカル類似性(LocalSim)を用いて,プラグイン・アンド・プレイモジュールとしても機能するノードレベルの重み付き融合を学習する。 そこで本研究では,より情報性の高いマルチホップ情報を抽出するための,新規かつ効率的な初期残留差分接続(IRDC)を提案する。 提案手法,すなわちローカル類似グラフニューラルネットワーク(LSGNN)は,ホモ親和性グラフとヘテロ親和性グラフの両方において,同等あるいは優れた最先端性能を提供できる。
  論文  参考訳（メタデータ） (2023-05-07T09:06:11Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Graph Pointer Neural Networks [11.656981519694218]
  上述の課題に対処するために,グラフポインタニューラルネットワーク(GPNN)を提案する。 我々は、多数のマルチホップ地区から最も関連性の高いノードを選択するためにポインタネットワークを利用する。 GPNNは最先端手法の分類性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-10-03T10:18:25Z)
• Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
  グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。 ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。 この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。 本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T22:42:25Z)
• Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
  グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。 本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。 このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
  論文  参考訳（メタデータ） (2020-02-10T06:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。