論文の概要: Scalable Graph Neural Network Training: The Case for Sampling

• arxiv url: http://arxiv.org/abs/2105.02315v1
• Date: Wed, 5 May 2021 20:44:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 01:42:31.614880
• Title: Scalable Graph Neural Network Training: The Case for Sampling
• Title（参考訳）: スケーラブルなグラフニューラルネットワークトレーニング - サンプリングの場合
• Authors: Marco Serafini, Hui Guan
• Abstract要約: グラフニューラルネットワーク(Graph Neural Networks、GNN)は、グラフ上で学習を行うディープニューラルネットワークアーキテクチャの新しい、ますます普及しているファミリです。 グラフデータの不規則性から、効率的にトレーニングすることは難しい。 文献には、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが登場した。
• 参考スコア（独自算出の注目度）: 4.9201378771958675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are a new and increasingly popular family of deep neural network architectures to perform learning on graphs. Training them efficiently is challenging due to the irregular nature of graph data. The problem becomes even more challenging when scaling to large graphs that exceed the capacity of single devices. Standard approaches to distributed DNN training, such as data and model parallelism, do not directly apply to GNNs. Instead, two different approaches have emerged in the literature: whole-graph and sample-based training. In this paper, we review and compare the two approaches. Scalability is challenging with both approaches, but we make a case that research should focus on sample-based training since it is a more promising approach. Finally, we review recent systems supporting sample-based training.
• Abstract（参考訳）: グラフニューラルネットワーク(英: graph neural network、gnns)は、グラフ上で学習を行うための深層ニューラルネットワークアーキテクチャの新たなファミリーである。 グラフデータの不規則性から、効率的にトレーニングすることは難しい。 単一デバイスの容量を超える大規模グラフへのスケールでは、この問題はさらに困難になる。 データやモデル並列化といった分散DNNトレーニングに対する標準的なアプローチは、GNNに直接適用されない。 代わりに、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが文献に現れている。 本稿では,2つのアプローチをレビューし,比較する。 両方のアプローチでスケーラビリティは難しいものですが、より有望なアプローチであるため、調査ではサンプルベースのトレーニングに重点を置くべきです。 最後に,サンプルベーストレーニングを支援する最近のシステムについて述べる。

関連論文リスト

• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
  制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。 グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。 我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。 第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。 第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-11-06T20:46:50Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)
• Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
  本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。 我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-04T19:21:48Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。