論文の概要: Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2406.08287v2
- Date: Fri, 14 Jun 2024 06:25:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 17:54:01.966035
- Title: Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks
- Title（参考訳）: 適応型時空間グラフニューラルネットにおけるグラフ勝利チケットの事前学習同定
- Authors: Wenying Duan, Tianxiang Fang, Hong Rao, Xiaoxi He,
- Abstract要約: Lottery Ticket hypothesis (LTH) から派生した Graph Winning Ticket (GWT) の概念を導入する。
事前決定された恒星トポロジーをGWTとしてトレーニング前に採用することにより、エッジの削減と効率的な情報伝達のバランスをとることができる。
提案手法は,48GBのメモリを備えた単一A6000を用いて,最大規模の時空間データセット上でASTGNNのトレーニングを可能にする。
- 参考スコア（独自算出の注目度）: 5.514795777097036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a novel method to significantly enhance the computational efficiency of Adaptive Spatial-Temporal Graph Neural Networks (ASTGNNs) by introducing the concept of the Graph Winning Ticket (GWT), derived from the Lottery Ticket Hypothesis (LTH). By adopting a pre-determined star topology as a GWT prior to training, we balance edge reduction with efficient information propagation, reducing computational demands while maintaining high model performance. Both the time and memory computational complexity of generating adaptive spatial-temporal graphs is significantly reduced from $\mathcal{O}(N^2)$ to $\mathcal{O}(N)$. Our approach streamlines the ASTGNN deployment by eliminating the need for exhaustive training, pruning, and retraining cycles, and demonstrates empirically across various datasets that it is possible to achieve comparable performance to full models with substantially lower computational costs. Specifically, our approach enables training ASTGNNs on the largest scale spatial-temporal dataset using a single A6000 equipped with 48 GB of memory, overcoming the out-of-memory issue encountered during original training and even achieving state-of-the-art performance. Furthermore, we delve into the effectiveness of the GWT from the perspective of spectral graph theory, providing substantial theoretical support. This advancement not only proves the existence of efficient sub-networks within ASTGNNs but also broadens the applicability of the LTH in resource-constrained settings, marking a significant step forward in the field of graph neural networks. Code is available at https://anonymous.4open.science/r/paper-1430.
- Abstract（参考訳）: 本稿では、LTH(Lottery Ticket hypothesis)から派生したグラフウィンティング・チケット(GWT)の概念を導入し、適応空間時間グラフニューラルネットワーク(ASTGNN)の計算効率を大幅に向上させる新しい手法を提案する。
事前決定された恒星トポロジをGWTとしてトレーニング前に採用することにより、エッジの削減と効率的な情報伝達のバランスを保ち、高いモデル性能を維持しながら計算要求を低減できる。
適応的な時空間グラフを生成する際の時間およびメモリ計算の複雑さは、$\mathcal{O}(N^2)$から$\mathcal{O}(N)$に大幅に減少する。
提案手法は, ASTGNNの展開を, 徹底的な訓練, 刈り込み, 再訓練サイクルの必要性をなくすことで効率化し, 計算コストを大幅に低減したフルモデルに匹敵する性能を達成できることを実証的に示す。
具体的には,48GBのメモリを備えた単一A6000を用いて,最大規模の時空間データセット上でASTGNNをトレーニングすることができる。
さらに、スペクトルグラフ理論の観点からGWTの有効性を探求し、かなりの理論的支援を提供する。
この進歩は、ASTGNN内の効率的なサブネットワークの存在を証明しているだけでなく、リソース制約のある設定におけるLTHの適用性も拡大し、グラフニューラルネットワークの分野における重要な一歩を踏み出した。
コードはhttps://anonymous.4open.science/r/paper-1430で公開されている。
関連論文リスト
- Sparse Decomposition of Graph Neural Networks [20.768412002413843]
本稿では,集約中に含まれるノード数を削減する手法を提案する。
線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。
提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-25T17:52:16Z) - Enhanced Expressivity in Graph Neural Networks with Lanczos-Based Linear Constraints [7.605749412696919]
グラフニューラルネットワーク(GNN)はグラフ構造化データの処理に優れるが、リンク予測タスクでは性能が劣ることが多い。
グラフラプラシア行列の固有基底に誘導された部分グラフを埋め込むことによりGNNの表現性を高める新しい手法を提案する。
提案手法は,PubMedとOGBL-Vesselのデータセットから,5%と10%のデータしか必要とせず,20倍と10倍の高速化を実現する。
論文 参考訳（メタデータ） (2024-08-22T12:22:00Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。
本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文 参考訳（メタデータ） (2023-09-04T10:23:39Z) - GNN at the Edge: Cost-Efficient Graph Neural Network Processing over
Distributed Edge Servers [24.109721494781592]
グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。
本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。
提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2022-10-31T13:03:16Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。
我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文 参考訳（メタデータ） (2020-06-15T22:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。