論文の概要: Subgroup Generalization and Fairness of Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2106.15535v1
- Date: Tue, 29 Jun 2021 16:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 15:42:54.821352
- Title: Subgroup Generalization and Fairness of Graph Neural Networks
- Title(参考訳): グラフニューラルネットワークのサブグループ一般化と公平性
- Authors: Jiaqi Ma, Junwei Deng, Qiaozhu Mei
- Abstract要約: 非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。
さらに、理論的な観点から、GNNの精度(dis)パリティスタイル(un)フェアネスについて研究する。
- 参考スコア(独自算出の注目度): 12.88476464580968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite enormous successful applications of graph neural networks (GNNs)
recently, theoretical understandings of their generalization ability,
especially for node-level tasks where data are not independent and
identically-distributed (IID), have been sparse. The theoretical investigation
of the generalization performance is beneficial for understanding fundamental
issues (such as fairness) of GNN models and designing better learning methods.
In this paper, we present a novel PAC-Bayesian analysis for GNNs under a
non-IID semi-supervised learning setup. Moreover, we analyze the generalization
performances on different subgroups of unlabeled nodes, which allows us to
further study an accuracy-(dis)parity-style (un)fairness of GNNs from a
theoretical perspective. Under reasonable assumptions, we demonstrate that the
distance between a test subgroup and the training set can be a key factor
affecting the GNN performance on that subgroup, which calls special attention
to the training node selection for fair learning. Experiments across multiple
GNN models and datasets support our theoretical results.
- Abstract(参考訳): 近年のグラフニューラルネットワーク(gnns)の膨大な応用にもかかわらず、その一般化能力の理論的理解、特にデータが独立で同一分布(iid)でないノードレベルのタスクは、疎結合である。
一般化性能の理論的研究は、gnnモデルの基本問題(公平性など)を理解し、より良い学習方法を設計する上で有用である。
本稿では,非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。
さらに、未ラベルノードの異なる部分群における一般化性能を分析し、理論的な観点からGNNの精度(離散性)スタイル(不均一性)をさらに研究することができる。
合理的な仮定の下では、テストサブグループとトレーニングセットの間の距離が、公平な学習のためにトレーニングノードの選択に特に注意を向ける、そのサブグループのgnnパフォーマンスに影響を与える重要な要因であることを実証する。
複数のGNNモデルとデータセットにまたがる実験は、理論的結果を支持する。
関連論文リスト
- On the Topology Awareness and Generalization Performance of Graph Neural
Networks [7.795558434705472]
我々は,GNNのトポロジ的認識をいかなるトポロジ的特徴においても特徴付けるための包括的枠組みを導入する。
我々の分析は、GNNのトポロジ意識の向上が、構造群全体の不当な一般化を必然的に引き起こす可能性があるという、重要な洞察を明らかにしている。
論文 参考訳(メタデータ) (2024-03-07T13:33:30Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Towards Understanding the Generalization of Graph Neural Networks [9.217947432437546]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。
まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。
理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
論文 参考訳(メタデータ) (2023-05-14T03:05:14Z) - GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。
GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。
本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
論文 参考訳(メタデータ) (2023-03-20T18:24:01Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳(メタデータ) (2021-08-02T18:00:38Z) - Optimization of Graph Neural Networks: Implicit Acceleration by Skip
Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。
GNNのダイナミクスを深部スキップ最適化により研究する。
本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文 参考訳(メタデータ) (2021-05-10T17:59:01Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。