論文の概要: Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification

• arxiv url: http://arxiv.org/abs/2006.08796v3
• Date: Mon, 5 Oct 2020 15:26:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:34:27.457882
• Title: Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification
• Title（参考訳）: 有効抵抗に基づくグラフスパーシフィケーションを用いた高速グラフアテンションネットワーク
• Authors: Rakshith S Srinivasa, Cao Xiao, Lucas Glass, Justin Romberg, Jimeng Sun
• Abstract要約: FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
• 参考スコア（独自算出の注目度）: 70.50751397870972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The attention mechanism has demonstrated superior performance for inference over nodes in graph neural networks (GNNs), however, they result in a high computational burden during both training and inference. We propose FastGAT, a method to make attention based GNNs lightweight by using spectral sparsification to generate an optimal pruning of the input graph. This results in a per-epoch time that is almost linear in the number of graph nodes as opposed to quadratic. We theoretically prove that spectral sparsification preserves the features computed by the GAT model, thereby justifying our algorithm. We experimentally evaluate FastGAT on several large real world graph datasets for node classification tasks under both inductive and transductive settings. FastGAT can dramatically reduce (up to \textbf{10x}) the computational time and memory requirements, allowing the usage of attention based GNNs on large graphs.
• Abstract（参考訳）: 注意機構はグラフニューラルネットワーク(gnns)のノード上での推論において優れた性能を示しているが、トレーニングと推論の両方において高い計算負荷をもたらす。 本稿では、スペクトルスペーシフィケーションを用いて注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成するFastGATを提案する。 これにより、二次ではなくグラフノード数でほぼ線形である時間当たりの時間が得られる。 理論的には、スペクトルスパーシフィケーションはgatモデルによって計算された特徴を保存し、アルゴリズムを正当化する。 ノード分類タスクのための大規模実世界グラフデータセットのfastgatをインダクティブ設定とトランスダクティブ設定の両方で実験的に評価した。 fastgatは計算時間とメモリ要件を劇的に削減し(最大で \textbf{10x})、大きなグラフで注意に基づくgnnを使用することを可能にする。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Spatiotemporal Forecasting Meets Efficiency: Causal Graph Process Neural Networks [5.703629317205571]
  Causal Graph Graph Processs (CGP) は、リレーショナルフィールド層の代わりにグラフフィルタを使用してパラメータを削減し、メモリ消費を最小限にする代替手段を提供する。 本稿では,CGPとGNNを組み合わせて時間予測を行う非線形モデルを提案する。CGProNetは高階グラフフィルタを採用し,パラメータの少ないモデルに最適化し,メモリ使用量を削減し,実行効率を向上させる。
  論文  参考訳（メタデータ） (2024-05-29T08:37:48Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Spectral Graph Attention Network with Fast Eigen-approximation [103.93113062682633]
  スペクトルグラフ注意ネットワーク(SpGAT)は、重み付きフィルタとグラフウェーブレットベースに関する異なる周波数成分の表現を学習する。 固有分解による計算コストを削減するために,高速近似変種SpGAT-Chebyを提案する。 半教師付きノード分類タスクにおけるSpGATとSpGAT-Chebyの性能を徹底的に評価する。
  論文  参考訳（メタデータ） (2020-03-16T21:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。