論文の概要: Unifying gradient regularization for Heterogeneous Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2305.15811v1
- Date: Thu, 25 May 2023 07:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 16:36:48.306927
- Title: Unifying gradient regularization for Heterogeneous Graph Neural Networks
- Title（参考訳）: 不均一グラフニューラルネットワークの統一勾配正規化
- Authors: Xiao Yang and Xuejiao Zhao and Zhiqi Shen
- Abstract要約: 本稿では,Grug と呼ばれる新しい勾配正規化手法を提案する。
Grugはグラフトポロジとノード特徴を統合した統一的なフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 6.3093033645568015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneous Graph Neural Networks (HGNNs) are a class of powerful deep
learning methods widely used to learn representations of heterogeneous graphs.
Despite the fast development of HGNNs, they still face some challenges such as
over-smoothing, and non-robustness. Previous studies have shown that these
problems can be reduced by using gradient regularization methods. However, the
existing gradient regularization methods focus on either graph topology or node
features. There is no universal approach to integrate these features, which
severely affects the efficiency of regularization. In addition, the inclusion
of gradient regularization into HGNNs sometimes leads to some problems, such as
an unstable training process, increased complexity and insufficient coverage
regularized information. Furthermore, there is still short of a complete
theoretical analysis of the effects of gradient regularization on HGNNs. In
this paper, we propose a novel gradient regularization method called Grug,
which iteratively applies regularization to the gradients generated by both
propagated messages and the node features during the message-passing process.
Grug provides a unified framework integrating graph topology and node features,
based on which we conduct a detailed theoretical analysis of their
effectiveness. Specifically, the theoretical analyses elaborate the advantages
of Grug: 1) Decreasing sample variance during the training process (Stability);
2) Enhancing the generalization of the model (Universality); 3) Reducing the
complexity of the model (Simplicity); 4) Improving the integrity and diversity
of graph information utilization (Diversity). As a result, Grug has the
potential to surpass the theoretical upper bounds set by DropMessage (AAAI-23
Distinguished Papers). In addition, we evaluate Grug on five public real-world
datasets with two downstream tasks.
- Abstract（参考訳）: Heterogeneous Graph Neural Networks (HGNN) は、異種グラフの表現を学習するために広く使われている強力なディープラーニング手法のクラスである。
HGNNの急速な発展にもかかわらず、過度なスムースメントや非破壊といった課題に直面している。
従来の研究では、勾配正規化法を用いてこれらの問題を低減できることが示されている。
しかし、既存の勾配正規化手法はグラフトポロジーかノードの特徴に焦点を当てている。
これらの特徴を統合するための普遍的なアプローチは存在せず、正規化の効率に大きな影響を及ぼす。
加えて、hgnnに勾配正規化を組み込むことで、不安定なトレーニングプロセス、複雑さの増加、カバレッジ正規化情報の不足など、いくつかの問題を引き起こすことがある。
さらに、勾配正規化がhgnnに与える影響の完全な理論的解析にはまだ不足している。
本稿では,メッセージ伝達プロセス中に伝搬されたメッセージとノード特徴の両方から生成される勾配に対して反復的に正規化を適用する,grogと呼ばれる新しい勾配正規化手法を提案する。
Grugはグラフトポロジとノード特徴を統合した統一的なフレームワークを提供する。
具体的には、グルーグの利点を詳しく分析する。
1) 訓練過程におけるサンプル分散の低減(安定性)
2)モデルの一般化(普遍性)の促進
3) モデルの複雑さを低減する(シンプルさ)。
4)グラフ情報利用(多様性)の完全性と多様性の向上。
その結果、GrugはDropMessage(AAAI-23 Distinguished Papers)によって設定された理論上界を超える可能性がある。
さらに、2つの下流タスクを持つ5つの公開現実世界データセット上でGrugを評価する。
関連論文リスト
- Graph Classification via Reference Distribution Learning: Theory and Practice [24.74871206083017]
グラフ参照分布学習(GRDL, Graph Reference Distribution Learning)は, グラフの効率的な分類法である。
GRDLはGNN層によって与えられるグラフの潜在ノード埋め込みを離散分布として扱い、グローバルプールなしで直接分類できる。
中規模および大規模グラフデータセットの実験は、GRDLが最先端よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-08-21T06:42:22Z) - A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。
我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文 参考訳（メタデータ） (2024-06-07T19:25:02Z) - Two Heads Are Better Than One: Boosting Graph Sparse Training via
Semantic and Topological Awareness [80.87683145376305]
グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。
データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。
GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
論文 参考訳（メタデータ） (2024-02-02T09:10:35Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。
本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
論文 参考訳（メタデータ） (2023-12-11T17:43:57Z) - Implicit Graph Neural Diffusion Networks: Convergence, Generalization,
and Over-Smoothing [7.984586585987328]
Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。
パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。
ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
論文 参考訳（メタデータ） (2023-08-07T05:22:33Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Gradient scarcity with Bilevel Optimization for Graph Learning [0.0]
勾配不足は、ノードのサブセットの損失を最小限にすることでグラフを学習する際に発生する。
我々は、この現象の正確な数学的特徴を与え、双レベル最適化にも現れることを証明した。
この問題を緩和するために,グラフ・ツー・グラフモデル(G2G)を用いた潜時グラフ学習,グラフに先行構造を課すグラフ正規化,あるいは直径を縮小した元のグラフよりも大きなグラフを最適化することを提案する。
論文 参考訳（メタデータ） (2023-03-24T12:37:43Z) - Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation [61.39364567221311]
グラフレベルの異常検出(GAD)は、その構造やノードの特徴に異常なグラフを検出する問題を記述している。
GADの課題の1つは、局所的および大域的非正則グラフの検出を可能にするグラフ表現を考案することである。
本稿では,グラフとノード表現の連成ランダム蒸留により,グローバルおよびローカルな正規パターン情報を豊富に学習するGADのための新しい深部異常検出手法を提案する。
論文 参考訳（メタデータ） (2021-12-19T05:04:53Z) - Towards Scale-Invariant Graph-related Problem Solving by Iterative
Homogeneous Graph Neural Networks [39.370875358317946]
現在のグラフニューラルネットワーク(GNN)は、多くのグラフ解析問題を解く際に、スケール(グラフサイズ、グラフ径、エッジウェイトなど)に関する一般化性に欠ける。
まず,グラフサイズに対する共通グラフ理論アルゴリズムの反復回数の依存性に着想を得て,GNNにおけるメッセージパッシングプロセスの終了を,進捗に応じて順応的に学習する。
第二に、多くのグラフ理論アルゴリズムがグラフの重みに関して均一であるという事実に着想を得て、一般のGを変換するために、普遍的同次関数近似器である同次変換層を導入する。
論文 参考訳（メタデータ） (2020-10-26T12:57:28Z) - Gated Graph Recurrent Neural Networks [176.3960927323358]
グラフ処理の一般的な学習フレームワークとしてグラフリカレントニューラルネットワーク(GRNN)を導入する。
勾配の消失問題に対処するため,時間,ノード,エッジゲートの3つの異なるゲーティング機構でGRNNを前進させた。
数値的な結果は、GRNNがGNNやRNNよりも優れており、グラフプロセスの時間構造とグラフ構造の両方を考慮することが重要であることを示している。
論文 参考訳（メタデータ） (2020-02-03T22:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。