論文の概要: Scalable Consistency Training for Graph Neural Networks via
Self-Ensemble Self-Distillation
- arxiv url: http://arxiv.org/abs/2110.06290v1
- Date: Tue, 12 Oct 2021 19:24:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 15:26:59.028405
- Title: Scalable Consistency Training for Graph Neural Networks via
Self-Ensemble Self-Distillation
- Title（参考訳）: 自己センブル自己蒸留によるグラフニューラルネットワークのスケーラブルな一貫性トレーニング
- Authors: Cole Hawkins, Vassilis N. Ioannidis, Soji Adeshina, George Karypis
- Abstract要約: グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。
対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。
提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
- 参考スコア（独自算出の注目度）: 13.815063206114713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consistency training is a popular method to improve deep learning models in
computer vision and natural language processing. Graph neural networks (GNNs)
have achieved remarkable performance in a variety of network science learning
tasks, but to date no work has studied the effect of consistency training on
large-scale graph problems. GNNs scale to large graphs by minibatch training
and subsample node neighbors to deal with high degree nodes. We utilize the
randomness inherent in the subsampling of neighbors and introduce a novel
consistency training method to improve accuracy. For a target node we generate
different neighborhood expansions, and distill the knowledge of the average of
the predictions to the GNN. Our method approximates the expected prediction of
the possible neighborhood samples and practically only requires a few samples.
We demonstrate that our training method outperforms standard GNN training in
several different settings, and yields the largest gains when label rates are
low.
- Abstract（参考訳）: 一貫性トレーニングは、コンピュータビジョンと自然言語処理におけるディープラーニングモデルを改善する一般的な方法である。
グラフニューラルネットワーク(gnns)は,様々なネットワーク科学学習タスクにおいて顕著な性能を発揮するが,大規模グラフ問題に対する一貫性トレーニングの効果は,これまで研究されていない。
GNNは、高次ノードを扱うために、ミニバッチトレーニングとサブサンプルノード隣人によって大きなグラフにスケールする。
本稿では,隣人のサブサンプリングに内在するランダム性を利用し,精度を向上させるための新しい一貫性トレーニング手法を提案する。
対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。
本手法は, 近傍試料の予測値に近似し, 少数の試料しか必要としない。
トレーニング手法は,いくつかの異なる設定で標準GNNトレーニングより優れており,ラベルレートが低い場合には最大利得が得られることを示す。
関連論文リスト
- Training Graph Neural Networks Using Non-Robust Samples [2.1937382384136637]
グラフニューラルネットワーク(GNN)は、構造化されたデータを処理するための、非常に効果的なニューラルネットワークである。
GNNは、データポイント間の関係を表すグラフ構造と、データの特徴行列の両方を活用して、特徴表現を最適化する。
本稿では,モデルトレーニングのためのより小型で効果的なトレーニングセットを構築するために,元のトレーニングセットからノイズに敏感なトレーニングサンプルを選択する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-19T11:10:48Z) - Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。
ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。
訓練されたGNNからグラフを盗むという新しい問題について検討する。
論文 参考訳（メタデータ） (2024-11-17T23:15:36Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - A Local Graph Limits Perspective on Sampling-Based GNNs [7.601210044390688]
本稿では,グラフニューラルネットワーク(GNN)を大規模入力グラフ上で学習するための理論的枠組みを提案する。
大規模な入力グラフの小さなサンプルを用いてサンプリングベースGNNのトレーニングから得られたパラメータが、グラフ全体において同じアーキテクチャをトレーニングした結果の$epsilon$近傍にあることを証明した。
論文 参考訳（メタデータ） (2023-10-17T02:58:49Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳（メタデータ） (2022-11-01T01:57:00Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。
我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
論文 参考訳（メタデータ） (2021-09-04T19:21:48Z) - Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。
最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
論文 参考訳（メタデータ） (2021-06-15T08:50:10Z) - Scalable Graph Neural Network Training: The Case for Sampling [4.9201378771958675]
グラフニューラルネットワーク(Graph Neural Networks、GNN)は、グラフ上で学習を行うディープニューラルネットワークアーキテクチャの新しい、ますます普及しているファミリです。
グラフデータの不規則性から、効率的にトレーニングすることは難しい。
文献には、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが登場した。
論文 参考訳（メタデータ） (2021-05-05T20:44:10Z) - Hop Sampling: A Simple Regularized Graph Learning for Non-Stationary
Environments [12.251253742049437]
グラフ表現学習は、ソーシャルネットワーク分析など、幅広いアプリケーションで人気を集めている。
グラフニューラルネットワーク(GNN)を現実のアプリケーションに適用することは、静止しない環境のため、依然として難しい。
ホップサンプリング(Hop Smpling)は,GNNの過剰漁を効果的に防止できる簡単な正規化手法である。
論文 参考訳（メタデータ） (2020-06-26T10:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。