論文の概要: Investigating and Mitigating Degree-Related Biases in Graph
Convolutional Networks
- arxiv url: http://arxiv.org/abs/2006.15643v2
- Date: Thu, 13 Aug 2020 16:49:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 02:16:37.842847
- Title: Investigating and Mitigating Degree-Related Biases in Graph
Convolutional Networks
- Title(参考訳): グラフ畳み込みネットワークにおける次数関連バイアスの調査と緩和
- Authors: Xianfeng Tang, Huaxiu Yao, Yiwei Sun, Yiqi Wang, Jiliang Tang, Charu
Aggarwal, Prasenjit Mitra and Suhang Wang
- Abstract要約: グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示す。
本稿では,ノード次数分布に関するGCNを解析する。
本稿では,GCNの次数バイアスを緩和する自己監督型DegreeSpecific GCN(SL-DSGC)を開発した。
- 参考スコア(独自算出の注目度): 62.8504260693664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Convolutional Networks (GCNs) show promising results for
semi-supervised learning tasks on graphs, thus become favorable comparing with
other approaches. Despite the remarkable success of GCNs, it is difficult to
train GCNs with insufficient supervision. When labeled data are limited, the
performance of GCNs becomes unsatisfying for low-degree nodes. While some prior
work analyze successes and failures of GCNs on the entire model level,
profiling GCNs on individual node level is still underexplored.
In this paper, we analyze GCNs in regard to the node degree distribution.
From empirical observation to theoretical proof, we confirm that GCNs are
biased towards nodes with larger degrees with higher accuracy on them, even if
high-degree nodes are underrepresented in most graphs. We further develop a
novel Self-Supervised-Learning Degree-Specific GCN (SL-DSGC) that mitigate the
degree-related biases of GCNs from model and data aspects. Firstly, we propose
a degree-specific GCN layer that captures both discrepancies and similarities
of nodes with different degrees, which reduces the inner model-aspect biases of
GCNs caused by sharing the same parameters with all nodes. Secondly, we design
a self-supervised-learning algorithm that creates pseudo labels with
uncertainty scores on unlabeled nodes with a Bayesian neural network. Pseudo
labels increase the chance of connecting to labeled neighbors for low-degree
nodes, thus reducing the biases of GCNs from the data perspective. Uncertainty
scores are further exploited to weight pseudo labels dynamically in the
stochastic gradient descent for SL-DSGC. Experiments on three benchmark
datasets show SL-DSGC not only outperforms state-of-the-art
self-training/self-supervised-learning GCN methods, but also improves GCN
accuracy dramatically for low-degree nodes.
- Abstract(参考訳): グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示すため、他のアプローチと比較して好ましいものとなる。
GCNの顕著な成功にもかかわらず、GCNを不十分な監督で訓練することは困難である。
ラベル付きデータに制限がある場合、GCNのパフォーマンスは低次ノードでは不満足になる。
モデルレベルでのgcnの成功と失敗を分析する先行研究もあるが、個々のノードレベルでのgcnのプロファイリングはまだ未検討である。
本稿では,ノード次数分布に関するGCNを解析する。
経験的観察から理論的証明まで、GCNは、高次ノードがほとんどのグラフで不足している場合でも、より高い精度でより大きな次数ノードに偏りがあることを確認する。
さらに、モデルとデータの観点からGCNの次数関連バイアスを緩和する、自己改善型Degree-Specific GCN(SL-DSGC)を開発した。
まず、異なる次数のノードの相違点と類似点の両方をキャプチャする次数固有のGCN層を提案し、同じパラメータを全てのノードと共有することでGCNの内部モデル・アスペクトバイアスを低減させる。
第二に、ベイズニューラルネットワークを用いた未ラベルノード上で不確実性スコアを持つ擬似ラベルを生成する自己教師付き学習アルゴリズムを設計する。
擬似ラベルは、低次ノードのラベル付き隣人に接続する確率を高め、データの観点からGCNのバイアスを低減する。
不確かさスコアは、sl-dsgcの確率勾配降下において動的に重み付き擬似ラベルにさらに活用される。
3つのベンチマークデータセットの実験では、SL-DSGCは最先端の自己学習/自己教師付きGCN法を上回るだけでなく、低次ノードのGCN精度を劇的に向上させる。
関連論文リスト
- What Do Graph Convolutional Neural Networks Learn? [0.0]
グラフ畳み込みニューラルネットワーク(GCN)はグラフニューラルネットワーク(GNN)の共通変種である
近年の文献では、GCNは特定の「特殊条件」下でヘテロ親和性グラフ上での強い性能を達成可能であることが強調されている。
データセットの基盤となるグラフ構造について検討した結果,GCNのSSNC性能は,クラス内のノードの近傍構造における一貫性と特異性に大きく影響していることがわかった。
論文 参考訳(メタデータ) (2022-07-05T06:44:37Z) - RawlsGCN: Towards Rawlsian Difference Principle on Graph Convolutional
Network [102.27090022283208]
グラフ畳み込みネットワーク(GCN)は多くの現実世界のアプリケーションにおいて重要な役割を担っている。
GCNはしばしばノードの次数に対する性能の相違を示し、結果として低次ノードの予測精度が悪化する。
我々は、Rawlsian差分原理の観点から、GCNの次数関連性能格差を緩和する問題を定式化する。
論文 参考訳(メタデータ) (2022-02-28T05:07:57Z) - Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。
GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。
本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-04T04:41:24Z) - On the Equivalence of Decoupled Graph Convolution Network and Label
Propagation [60.34028546202372]
いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。
有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。
本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
論文 参考訳(メタデータ) (2020-10-23T13:57:39Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳(メタデータ) (2020-06-13T23:00:22Z) - Understanding and Resolving Performance Degradation in Graph
Convolutional Networks [105.14867349802898]
グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。
GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。
本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
論文 参考訳(メタデータ) (2020-06-12T12:12:12Z) - Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。
理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。
我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
論文 参考訳(メタデータ) (2020-02-17T03:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。