論文の概要: Curriculum-Enhanced Residual Soft An-Isotropic Normalization for
Over-smoothness in Deep GNNs
- arxiv url: http://arxiv.org/abs/2312.08221v2
- Date: Thu, 14 Dec 2023 09:38:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 11:23:02.115368
- Title: Curriculum-Enhanced Residual Soft An-Isotropic Normalization for
Over-smoothness in Deep GNNs
- Title（参考訳）: 深層gnnにおける残差ソフトアンソトロピック正規化のカリキュラム化
- Authors: Jin Li, Qirong Zhang, Shuling Xu, Xinlong Chen, Longkun Guo, Yang-Geng
Fu
- Abstract要約: 本稿では,ノード埋め込みの多様性を保ち,過密性による不識別を防止するためのソフトグラフ正規化手法を提案する。
また, ディープGNNの最適化を向上するために, ラベル平滑な学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 4.468525856678543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite Graph neural networks' significant performance gain over many classic
techniques in various graph-related downstream tasks, their successes are
restricted in shallow models due to over-smoothness and the difficulties of
optimizations among many other issues. In this paper, to alleviate the
over-smoothing issue, we propose a soft graph normalization method to preserve
the diversities of node embeddings and prevent indiscrimination due to possible
over-closeness. Combined with residual connections, we analyze the reason why
the method can effectively capture the knowledge in both input graph structures
and node features even with deep networks. Additionally, inspired by Curriculum
Learning that learns easy examples before the hard ones, we propose a novel
label-smoothing-based learning framework to enhance the optimization of deep
GNNs, which iteratively smooths labels in an auxiliary graph and constructs
many gradual non-smooth tasks for extracting increasingly complex knowledge and
gradually discriminating nodes from coarse to fine. The method arguably reduces
the risk of overfitting and generalizes better results. Finally, extensive
experiments are carried out to demonstrate the effectiveness and potential of
the proposed model and learning framework through comparison with twelve
existing baselines including the state-of-the-art methods on twelve real-world
node classification benchmarks.
- Abstract（参考訳）: グラフニューラルネットワークは、様々なグラフ関連下流タスクにおける多くの古典的テクニックよりも顕著なパフォーマンス向上を達成しているが、その成功は過度な滑らかさや最適化の難しさなど、浅いモデルに制限されている。
本稿では,過密化問題を軽減するために,ノード埋め込みの多様性を保ち,過密化による差別を防止するソフトグラフ正規化法を提案する。
残差接続と組み合わせることで,ディープネットワークにおいても,入力グラフ構造とノード特徴の両方の知識を効果的に取得できる理由を解析する。
さらに,難解な例を学習するカリキュラム学習に触発されて,補助グラフ内のラベルを反復的に平滑化し,複雑化する知識を抽出し,ノードを徐々に粗いものから細かいものへと識別する多くの段階的非スムースタスクを構築する,深層gnnの最適化を強化するための新しいラベルスムーシング学習フレームワークを提案する。
この方法は、オーバーフィッティングのリスクを低減し、より良い結果を一般化する。
最後に,実世界12ノード分類ベンチマークにおける最先端手法を含む既存12のベースラインとの比較により,提案モデルと学習フレームワークの有効性と可能性を示すために,広範な実験を行った。
関連論文リスト
- Virtual Node Generation for Node Classification in Sparsely-Labeled Graphs [2.0060301665996016]
本稿では,グラフに付加されたラベル付きノードとして,少数の高品質な合成ノードを注入する新しいノード生成手法を提案する。
一般的なグラフ事前学習(自己教師付き学習)、半教師付き学習、メタ学習法と互換性がある。
実験では、公開されている10のデータセットに対して、14のベースラインに対して統計的に有意なパフォーマンス改善を実証した。
論文 参考訳（メタデータ） (2024-09-12T02:36:44Z) - GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems [6.084414764415137]
車両のルーティング問題を解決するためにEdges Fusionフレームワークを用いた適応型グラフ注意サンプリングを提案する。
提案手法は,既存の手法を2.08%-6.23%上回り,より強力な一般化能力を示す。
論文 参考訳（メタデータ） (2024-05-21T03:33:07Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Deep Manifold Learning with Graph Mining [80.84145791017968]
グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。
提案モデルでは,現行モデルと比較して最先端性能を実現している。
論文 参考訳（メタデータ） (2022-07-18T04:34:08Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Learning Graph Regularisation for Guided Super-Resolution [77.7568596501908]
誘導超解像のための新しい定式化を導入する。
そのコアは、学習親和性グラフ上で動作する微分可能な最適化層である。
提案手法をいくつかのデータセット上で広範囲に評価し, 定量的な再構成誤差の点から最近のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2022-03-27T13:12:18Z) - Graph Neural Network with Curriculum Learning for Imbalanced Node
Classification [21.085314408929058]
グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。
本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。
本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-05T10:46:11Z) - Meta Propagation Networks for Graph Few-shot Semi-supervised Learning [39.96930762034581]
本稿では,この問題を解決するために,メタ学習アルゴリズムを用いた新しいネットワークアーキテクチャを提案する。
基本的に,我々のMeta-PNフレームワークは,メタ学習ラベルの伝搬戦略を用いて,未ラベルノード上の高品質な擬似ラベルを推論する。
我々のアプローチは、様々なベンチマークデータセットの既存の技術と比較して、容易で実質的なパフォーマンス向上を提供する。
論文 参考訳（メタデータ） (2021-12-18T00:11:56Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z) - Differentiable Causal Discovery from Interventional Data [141.41931444927184]
本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。
提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
論文 参考訳（メタデータ） (2020-07-03T15:19:17Z) - Towards an Efficient and General Framework of Robust Training for Graph
Neural Networks [96.93500886136532]
グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。
GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。
我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-25T15:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。