論文の概要: T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and
Structure via Teacher-Student Distillation
- arxiv url: http://arxiv.org/abs/2212.12738v1
- Date: Sat, 24 Dec 2022 13:49:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 15:02:27.766887
- Title: T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and
Structure via Teacher-Student Distillation
- Title（参考訳）: t2-gnn: 先生・スチューデント蒸留による不完全特徴と構造を有するグラフ用ニューラルネットワーク
- Authors: Cuiying Huo, Di Jin, Yawen Li, Dongxiao He, Yu-Bin Yang and Lingfei Wu
- Abstract要約: グラフニューラルネットワーク(GNN)は,様々な解析タスクをグラフデータ上で処理する手法として普及している。
本稿では,教師による蒸留に基づく一般GNNフレームワークを提案し,不完全グラフ上でのGNNの性能向上を図る。
- 参考スコア（独自算出の注目度）: 65.43245616105052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have been a prevailing technique for tackling
various analysis tasks on graph data. A key premise for the remarkable
performance of GNNs relies on complete and trustworthy initial graph
descriptions (i.e., node features and graph structure), which is often not
satisfied since real-world graphs are often incomplete due to various
unavoidable factors. In particular, GNNs face greater challenges when both node
features and graph structure are incomplete at the same time. The existing
methods either focus on feature completion or structure completion. They
usually rely on the matching relationship between features and structure, or
employ joint learning of node representation and feature (or structure)
completion in the hope of achieving mutual benefit. However, recent studies
confirm that the mutual interference between features and structure leads to
the degradation of GNN performance. When both features and structure are
incomplete, the mismatch between features and structure caused by the missing
randomness exacerbates the interference between the two, which may trigger
incorrect completions that negatively affect node representation. To this end,
in this paper we propose a general GNN framework based on teacher-student
distillation to improve the performance of GNNs on incomplete graphs, namely
T2-GNN. To avoid the interference between features and structure, we separately
design feature-level and structure-level teacher models to provide targeted
guidance for student model (base GNNs, such as GCN) through distillation. Then
we design two personalized methods to obtain well-trained feature and structure
teachers. To ensure that the knowledge of the teacher model is comprehensively
and effectively distilled to the student model, we further propose a dual
distillation mode to enable the student to acquire as much expert knowledge as
possible.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,様々な解析タスクをグラフデータ上で処理する手法として普及している。
GNNの顕著な性能のための重要な前提は、完全かつ信頼性の高い初期グラフ記述(すなわちノードの特徴とグラフ構造)に依存しており、現実のグラフは避けられない様々な要因のためにしばしば不完全であるため、しばしば満足されない。
特に、ノードの特徴とグラフ構造が同時に不完全である場合、GNNはより大きな課題に直面します。
既存のメソッドは機能補完か構造完成に重点を置いています。
それらは通常、特徴と構造の間のマッチング関係に依存するか、相互利益を達成するためにノード表現と特徴(または構造)の完成の合同学習を利用する。
しかし,近年の研究では,特徴と構造間の相互干渉がGNN性能の低下につながることが確認されている。
特徴と構造の両方が不完全である場合、ランダム性の欠如によって生じる特徴と構造の間のミスマッチは両者の干渉を悪化させ、ノード表現に悪影響を及ぼす誤った完了を引き起こす可能性がある。
そこで本研究では,教師による蒸留に基づく汎用的なGNNフレームワークを提案し,不完全グラフ,すなわちT2-GNNの性能を向上させる。
特徴と構造の間の干渉を避けるため,我々は,蒸留による学生モデル(GCNなどベースGNN)のターゲットガイダンスを提供するために,特徴レベルと構造レベルの教師モデルを別々に設計する。
そこで我々は,よく訓練された特徴と構造的教師を得るための2つのパーソナライズされた手法を設計する。
また,教師モデルの知識が学生モデルに包括的かつ効果的に蒸留されることを保証するため,学生ができるだけ多くの専門知識を習得できるように,二重蒸留方式を提案する。
関連論文リスト
- MDS-GNN: A Mutual Dual-Stream Graph Neural Network on Graphs with Incomplete Features and Structure [8.00268216176428]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから表現を分析し学習するための強力なツールとして登場した。
GNNの卓越した性能にとって重要な前提条件は、完全なグラフ情報の提供である。
本研究では,特徴と構造間の相互利益学習を実装した相互二重ストリームグラフニューラルネットワーク(MDS-GNN)を提案する。
論文 参考訳（メタデータ） (2024-08-09T03:42:56Z) - Self-Attention Empowered Graph Convolutional Network for Structure
Learning and Node Embedding [5.164875580197953]
グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。
本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。
提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
論文 参考訳（メタデータ） (2024-03-06T05:00:31Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Demystifying Structural Disparity in Graph Neural Networks: Can One Size
Fit All? [61.35457647107439]
ほとんどの実世界のホモフィルグラフとヘテロフィルグラフは、ホモフィルグラフとヘテロフィルグラフの両方の構造パターンの混合ノードから構成される。
ノード分類におけるグラフニューラルネットワーク (GNN) は, 一般にホモ親和性ノード上で良好に機能することを示す。
次に、GNNに対する厳密で非I.d PAC-Bayesian一般化を提案し、性能格差の理由を明らかにした。
論文 参考訳（メタデータ） (2023-06-02T07:46:20Z) - 2-hop Neighbor Class Similarity (2NCS): A graph structural metric
indicative of graph neural network performance [4.051099980410583]
グラフニューラルネットワーク(GNN)は、多数のドメインにわたるグラフ構造化データに対して最先端のパフォーマンスを実現する。
異なるタイプのノードが接続されるヘテロ親和性グラフでは、GNNは一貫して機能しない。
2-hop Neighbor Class similarity (2NCS) は、GNNのパフォーマンスと、他の指標よりも強く、一貫して相関する新しい定量的グラフ構造特性である。
論文 参考訳（メタデータ） (2022-12-26T16:16:51Z) - Reliable Representations Make A Stronger Defender: Unsupervised
Structure Refinement for Robust GNN [36.045702771828736]
グラフニューラルネットワーク(GNN)は、グラフデータ上でのタスクの繁栄に成功している。
近年の研究では、グラフ構造を悪質に修正することで、攻撃者がGNNの性能を壊滅的に低下させることができることが示されている。
グラフ構造を最適化するための教師なしパイプラインSTABLEを提案する。
論文 参考訳（メタデータ） (2022-06-30T10:02:32Z) - Compressing Deep Graph Neural Networks via Adversarial Knowledge
Distillation [41.00398052556643]
本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。
識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。
その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
論文 参考訳（メタデータ） (2022-05-24T00:04:43Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳（メタデータ） (2022-05-15T11:38:14Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。