論文の概要: ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural
Networks via Normalization
- arxiv url: http://arxiv.org/abs/2206.08181v1
- Date: Thu, 16 Jun 2022 13:49:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 15:47:02.439046
- Title: ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural
Networks via Normalization
- Title（参考訳）: resnorm:正規化によるグラフニューラルネットワークの長テール次数分布問題への取り組み
- Authors: Langzhang Liang, Zenglin Xu, Zixing Song, Irwin King, Jieping Ye
- Abstract要約: 本稿では,正規化によるGNNの性能向上に焦点をあてる。
グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。
ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
- 参考スコア（独自算出の注目度）: 84.19438212912559
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have attracted much attention due to their
ability in learning representations from graph-structured data. Despite the
successful applications of GNNs in many domains, the optimization of GNNs is
less well studied, and the performance on node classification heavily suffers
from the long-tailed node degree distribution. This paper focuses on improving
the performance of GNNs via normalization.
In detail, by studying the long-tailed distribution of node degrees in the
graph, we propose a novel normalization method for GNNs, which is termed
ResNorm (\textbf{Res}haping the long-tailed distribution into a normal-like
distribution via \textbf{norm}alization). The $scale$ operation of ResNorm
reshapes the node-wise standard deviation (NStd) distribution so as to improve
the accuracy of tail nodes (\textit{i}.\textit{e}., low-degree nodes). We
provide a theoretical interpretation and empirical evidence for understanding
the mechanism of the above $scale$. In addition to the long-tailed distribution
issue, over-smoothing is also a fundamental issue plaguing the community. To
this end, we analyze the behavior of the standard shift and prove that the
standard shift serves as a preconditioner on the weight matrix, increasing the
risk of over-smoothing. With the over-smoothing issue in mind, we design a
$shift$ operation for ResNorm that simulates the degree-specific parameter
strategy in a low-cost manner. Extensive experiments have validated the
effectiveness of ResNorm on several node classification benchmark datasets.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフ構造化データから表現を学習する能力から注目されている。
多くの領域でGNNが成功したにもかかわらず、GNNの最適化はあまり研究されておらず、ノード分類の性能は長い尾のノード次数分布に大きく左右される。
本稿では,正規化によるGNNの性能向上に焦点をあてる。
詳しくは、グラフ内のノード次数の長期分布を研究することにより、ResNorm (\textbf{Res}haping the long-tailed distribution to a normal-like distribution via \textbf{norm}alization)と呼ばれるGNNの新しい正規化法を提案する。
ResNormの$scale$操作は、尾ノード(\textit{i})の精度を改善するために、ノード単位の標準偏差(NStd)分布を再設定する。
\textit{e}。
、低度ノード)。
上記の$scale$のメカニズムを理解するための理論的解釈と実証的な証拠を提供する。
長期にわたる流通問題に加えて、過密はコミュニティを悩ませる根本的な問題でもある。
この目的のために,標準シフトの挙動を分析し,標準シフトが重み行列のプレコンディショナーとして働くことを証明し,オーバースモーシングのリスクを増大させる。
過度にスムースな問題を念頭に置いて、低コストで次数固有のパラメータ戦略をシミュレートするResNormの$shift$演算を設計する。
大規模な実験により、いくつかのノード分類ベンチマークデータセットにおけるResNormの有効性が検証された。
関連論文リスト
- Mitigating Degree Bias in Signed Graph Neural Networks [5.042342963087923]
SGNN(Signed Graph Neural Networks)は、ソースデータと典型的な集約手法による公平性問題に対処する。
本稿では,GNN から拡張された SGNN の公正性の調査を先駆的に進める。
署名されたグラフ内の次数バイアスの問題を識別し、SGNNに関する公平性問題に対する新たな視点を提供する。
論文 参考訳（メタデータ） (2024-08-16T03:22:18Z) - Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Implicit Graph Neural Diffusion Networks: Convergence, Generalization,
and Over-Smoothing [7.984586585987328]
Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。
パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。
ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
論文 参考訳（メタデータ） (2023-08-07T05:22:33Z) - Improving Expressivity of GNNs with Subgraph-specific Factor Embedded
Normalization [30.86182962089487]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを扱うための学習アーキテクチャの強力なカテゴリとして登場した。
我々は SUbgraph-sPEcific FactoR Embedded Normalization (SuperNorm) と呼ばれる専用プラグアンドプレイ正規化方式を提案する。
論文 参考訳（メタデータ） (2023-05-31T14:37:31Z) - OrthoReg: Improving Graph-regularized MLPs via Orthogonality
Regularization [66.30021126251725]
グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。
グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。
GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。
次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
論文 参考訳（メタデータ） (2023-01-31T21:20:48Z) - RawlsGCN: Towards Rawlsian Difference Principle on Graph Convolutional
Network [102.27090022283208]
グラフ畳み込みネットワーク(GCN)は多くの現実世界のアプリケーションにおいて重要な役割を担っている。
GCNはしばしばノードの次数に対する性能の相違を示し、結果として低次ノードの予測精度が悪化する。
我々は、Rawlsian差分原理の観点から、GCNの次数関連性能格差を緩和する問題を定式化する。
論文 参考訳（メタデータ） (2022-02-28T05:07:57Z) - GraphNorm: A Principled Approach to Accelerating Graph Neural Network
Training [101.3819906739515]
グラフニューラルネットワーク(GNN)における正規化の有効性について検討する。
BatchNormやLayerNormと比較して、インスタンスNormの方が高速に収束できる。
GraphNormはGNNの一般化も改善し、グラフ分類ベンチマークのパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-09-07T17:55:21Z) - Understanding and Resolving Performance Degradation in Graph
Convolutional Networks [105.14867349802898]
グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。
GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。
本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
論文 参考訳（メタデータ） (2020-06-12T12:12:12Z) - Graph Random Neural Network for Semi-Supervised Learning on Graphs [36.218650686748546]
グラフニューラルネットワーク(GNN)が広範に研究されているグラフ上での半教師あり学習の問題について検討する。
既存のGNNの多くは、ラベル付きノードが不足している場合、本質的に過度なスムース、非ロバスト性、および弱一般化の制限に悩まされている。
本稿では,これらの問題に対処するシンプルなフレームワークである Graph R NEURAL NETWORKS (GRAND) を提案する。
論文 参考訳（メタデータ） (2020-05-22T09:40:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。