論文の概要: Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification
- arxiv url: http://arxiv.org/abs/2006.08796v3
- Date: Mon, 5 Oct 2020 15:26:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 03:34:27.457882
- Title: Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification
- Title(参考訳): 有効抵抗に基づくグラフスパーシフィケーションを用いた高速グラフアテンションネットワーク
- Authors: Rakshith S Srinivasa, Cao Xiao, Lucas Glass, Justin Romberg, Jimeng
Sun
- Abstract要約: FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。
我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
- 参考スコア(独自算出の注目度): 70.50751397870972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The attention mechanism has demonstrated superior performance for inference
over nodes in graph neural networks (GNNs), however, they result in a high
computational burden during both training and inference. We propose FastGAT, a
method to make attention based GNNs lightweight by using spectral
sparsification to generate an optimal pruning of the input graph. This results
in a per-epoch time that is almost linear in the number of graph nodes as
opposed to quadratic. We theoretically prove that spectral sparsification
preserves the features computed by the GAT model, thereby justifying our
algorithm. We experimentally evaluate FastGAT on several large real world graph
datasets for node classification tasks under both inductive and transductive
settings. FastGAT can dramatically reduce (up to \textbf{10x}) the
computational time and memory requirements, allowing the usage of attention
based GNNs on large graphs.
- Abstract(参考訳): 注意機構はグラフニューラルネットワーク(gnns)のノード上での推論において優れた性能を示しているが、トレーニングと推論の両方において高い計算負荷をもたらす。
本稿では、スペクトルスペーシフィケーションを用いて注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成するFastGATを提案する。
これにより、二次ではなくグラフノード数でほぼ線形である時間当たりの時間が得られる。
理論的には、スペクトルスパーシフィケーションはgatモデルによって計算された特徴を保存し、アルゴリズムを正当化する。
ノード分類タスクのための大規模実世界グラフデータセットのfastgatをインダクティブ設定とトランスダクティブ設定の両方で実験的に評価した。
fastgatは計算時間とメモリ要件を劇的に削減し(最大で \textbf{10x})、大きなグラフで注意に基づくgnnを使用することを可能にする。
関連論文リスト
- Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。
しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。
GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2023-08-23T12:27:55Z) - Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。
提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。
これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
論文 参考訳(メタデータ) (2023-06-07T23:12:42Z) - SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。
SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。
利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
論文 参考訳(メタデータ) (2022-07-19T10:32:11Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - LSP : Acceleration and Regularization of Graph Neural Networks via
Locality Sensitive Pruning of Graphs [2.4250821950628234]
グラフニューラルネットワーク(GNN)は、グラフ関連のタスクのための非常に成功したツールとして登場した。
大きなグラフは、性能を損なうことなく取り除くことができる多くの冗長なコンポーネントを含むことが多い。
そこで我々はLocality-Sensitive Hashingに基づくグラフプルーニングのためのLocality-Sensitive Pruning(LSP)という体系的手法を提案する。
論文 参考訳(メタデータ) (2021-11-10T14:12:28Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳(メタデータ) (2021-06-10T09:26:56Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-07T15:05:59Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-13T18:53:21Z) - Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。
固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。
半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
論文 参考訳(メタデータ) (2020-03-16T21:49:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。