論文の概要: ROD: Reception-aware Online Distillation for Sparse Graphs
- arxiv url: http://arxiv.org/abs/2107.11789v1
- Date: Sun, 25 Jul 2021 11:55:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 16:22:15.236256
- Title: ROD: Reception-aware Online Distillation for Sparse Graphs
- Title（参考訳）: ROD: スパースグラフのためのレセプション対応オンライン蒸留
- Authors: Wentao Zhang, Yuezihan Jiang, Yang Li, Zeang Sheng, Yu Shen, Xupeng
Miao, Liang Wang, Zhi Yang, Bin Cui
- Abstract要約: 疎グラフ学習のための新しいレセプション対応オンライン知識蒸留手法 ROD を提案する。
RODのための3つの監視信号: マルチスケールの受信対応グラフ知識、タスクベース監視、豊富な蒸留知識。
我々のアプローチは9つのデータセットと様々なグラフベースのタスクで広く評価されている。
- 参考スコア（独自算出の注目度）: 23.55530524584572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have been widely used in many graph-based tasks
such as node classification, link prediction, and node clustering. However,
GNNs gain their performance benefits mainly from performing the feature
propagation and smoothing across the edges of the graph, thus requiring
sufficient connectivity and label information for effective propagation.
Unfortunately, many real-world networks are sparse in terms of both edges and
labels, leading to sub-optimal performance of GNNs. Recent interest in this
sparse problem has focused on the self-training approach, which expands
supervised signals with pseudo labels. Nevertheless, the self-training approach
inherently cannot realize the full potential of refining the learning
performance on sparse graphs due to the unsatisfactory quality and quantity of
pseudo labels.
In this paper, we propose ROD, a novel reception-aware online knowledge
distillation approach for sparse graph learning. We design three supervision
signals for ROD: multi-scale reception-aware graph knowledge, task-based
supervision, and rich distilled knowledge, allowing online knowledge transfer
in a peer-teaching manner. To extract knowledge concealed in the multi-scale
reception fields, ROD explicitly requires individual student models to preserve
different levels of locality information. For a given task, each student would
predict based on its reception-scale knowledge, while simultaneously a strong
teacher is established on-the-fly by combining multi-scale knowledge. Our
approach has been extensively evaluated on 9 datasets and a variety of
graph-based tasks, including node classification, link prediction, and node
clustering. The result demonstrates that ROD achieves state-of-art performance
and is more robust for the graph sparsity.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ノード分類、リンク予測、ノードクラスタリングなど、多くのグラフベースのタスクで広く使用されている。
しかし、GNNは、主に機能伝搬を実行し、グラフのエッジをスムーズにすることで、十分な接続性とラベル情報を必要とし、効果的な伝搬を行う。
残念なことに、多くの現実世界のネットワークはエッジとラベルの両面で疎結合であり、GNNの準最適性能に繋がる。
このスパース問題に対する近年の関心は、擬似ラベルで教師付き信号を拡張する自己学習アプローチに焦点を当てている。
にもかかわらず、自己学習アプローチは本質的には、疑似ラベルの品質と量のためにスパースグラフ上の学習性能を改善できる可能性を完全には認識できない。
本稿では,疎グラフ学習のための新しいレセプション対応オンライン知識蒸留手法 ROD を提案する。
我々は,マルチスケール・レセプション・アウェアグラフ知識,タスクベース・スーパービジョン,リッチ・蒸留知識の3つの監督信号を設計し,ピアティーチング方式でオンライン知識の伝達を可能にした。
マルチスケール・レセプション・フィールドに隠された知識を抽出するためには、RODは個別の学生モデルに異なるレベルの局所性情報を保存するよう明示的に要求する。
与えられた課題に対して、各生徒は、その受動的知識に基づいて予測し、同時にマルチスケールの知識を組み合わせることで、強力な教師をオンザフライで確立する。
提案手法は,ノード分類,リンク予測,ノードクラスタリングなど,9つのデータセットとグラフベースのタスクに対して広く評価されている。
その結果、RODは最先端の性能を達成し、グラフの空間性に対してより堅牢であることを示す。
関連論文リスト
- Self-Attention Empowered Graph Convolutional Network for Structure
Learning and Node Embedding [5.164875580197953]
グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。
本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。
提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
論文 参考訳（メタデータ） (2024-03-06T05:00:31Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - SMARTQUERY: An Active Learning Framework for Graph Neural Networks
through Hybrid Uncertainty Reduction [25.77052028238513]
本稿では,ハイブリッド不確実性低減関数を用いて,ラベル付きノードの少ないグラフニューラルネットワークを学習するフレームワークを提案する。
ごく少数のラベル付きデータを用いた最先端技術に対する本手法の競合性能を実証する。
論文 参考訳（メタデータ） (2022-12-02T20:49:38Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Meta Propagation Networks for Graph Few-shot Semi-supervised Learning [39.96930762034581]
本稿では,この問題を解決するために,メタ学習アルゴリズムを用いた新しいネットワークアーキテクチャを提案する。
基本的に,我々のMeta-PNフレームワークは,メタ学習ラベルの伝搬戦略を用いて,未ラベルノード上の高品質な擬似ラベルを推論する。
我々のアプローチは、様々なベンチマークデータセットの既存の技術と比較して、容易で実質的なパフォーマンス向上を提供する。
論文 参考訳（メタデータ） (2021-12-18T00:11:56Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳（メタデータ） (2020-11-14T11:09:51Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳（メタデータ） (2020-10-25T22:39:31Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。