論文の概要: Tackling Oversmoothing of GNNs with Contrastive Learning
- arxiv url: http://arxiv.org/abs/2110.13798v1
- Date: Tue, 26 Oct 2021 15:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 15:49:19.311609
- Title: Tackling Oversmoothing of GNNs with Contrastive Learning
- Title（参考訳）: コントラスト学習によるGNNの過剰処理
- Authors: Lecheng Zheng, Dongqi Fu, Jingrui He
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
- 参考スコア（独自算出の注目度）: 35.88575306925201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) integrate the comprehensive relation of graph
data and the representation learning capability of neural networks, which is
one of the most popular deep learning methods and achieves state-of-the-art
performance in many applications, such as natural language processing and
computer vision. In real-world scenarios, increasing the depth (i.e., the
number of layers) of GNNs is sometimes necessary to capture more latent
knowledge of the input data to mitigate the uncertainty caused by missing
values. However, involving more complex structures and more parameters will
decrease the performance of GNN models. One reason called oversmoothing is
recently introduced but the relevant research remains nascent. In general,
oversmoothing makes the final representations of nodes indiscriminative, thus
deteriorating the node classification and link prediction performance. In this
paper, we first survey the current de-oversmoothing methods and propose three
major metrics to evaluate a de-oversmoothing method, i.e., constant divergence
indicator, easy-to-determine divergence indicator, and model-agnostic strategy.
Then, we propose the Topology-guided Graph Contrastive Layer, named TGCL, which
is the first de-oversmoothing method maintaining all three mentioned metrics.
With the contrastive learning manner, we provide the theoretical analysis of
the effectiveness of the proposed TGCL. Last but not least, we design extensive
experiments to illustrate the empirical performance of TGCL comparing with
state-of-the-art baselines.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータの包括的な関係とニューラルネットワークの表現学習能力を統合し、最も人気のあるディープラーニング手法のひとつであり、自然言語処理やコンピュータビジョンなどの多くのアプリケーションで最先端のパフォーマンスを達成する。
実世界のシナリオでは、GNNの深さ(すなわち層数)を増大させることで、入力データに対するより潜伏した知識を捉え、欠落した値による不確実性を軽減する必要がある。
しかし、より複雑な構造やパラメータを含むと、GNNモデルの性能は低下する。
オーバースムーシング(oversmoothing)と呼ばれる理由が最近紹介されているが、関連する研究はまだ始まったばかりである。
一般に、オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,現状のデオーバ・スムーシング法をまず調査し,デオーバ・スムーシング法,すなわち一定発散指標,簡易発散指標,モデル非依存戦略を評価するための3つの主要な指標を提案する。
次に,3つの指標すべてを保持する最初のデオーバモーニング法であるtgclと呼ばれるトポロジー誘導グラフコントラスト層を提案する。
対照的な学習方法により,提案したTGCLの有効性を理論的に解析する。
最後に,最先端のベースラインと比較して,TGCLの実証性能を示す広範な実験を設計する。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - Breaking the Entanglement of Homophily and Heterophily in
Semi-supervised Node Classification [25.831508778029097]
統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。
また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:54:11Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳（メタデータ） (2023-05-29T04:51:09Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。