論文の概要: GEBT: Drawing Early-Bird Tickets in Graph Convolutional Network Training
- arxiv url: http://arxiv.org/abs/2103.00794v1
- Date: Mon, 1 Mar 2021 06:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:55:51.108358
- Title: GEBT: Drawing Early-Bird Tickets in Graph Convolutional Network Training
- Title(参考訳): gebt: グラフ畳み込みネットワークトレーニングで早期チケットを描画する
- Authors: Haoran You, Zhihan Lu, Zijian Zhou, Yingyan Lin
- Abstract要約: graph convolutional networks(gcns)は、グラフ上の表現学習のための最先端のディープラーニングモデルとして登場した。
大規模なグラフデータセット上のGCNのトレーニングと推論は、依然として難しい。
本稿では,GCN トレーニングの効率を大幅に向上させる GEBT という汎用的なGCN トレーニングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.09364224388732
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph Convolutional Networks (GCNs) have emerged as the state-of-the-art deep
learning model for representation learning on graphs. However, it remains
notoriously challenging to train and inference GCNs over large graph datasets,
limiting their application to large real-world graphs and hindering the
exploration of deeper and more sophisticated GCN graphs. This is because as the
graph size grows, the sheer number of node features and the large adjacency
matrix can easily explode the required memory and data movements. To tackle the
aforementioned challenge, we explore the possibility of drawing lottery tickets
when sparsifying GCN graphs, i.e., subgraphs that largely shrink the adjacency
matrix yet are capable of achieving accuracy comparable to or even better than
their corresponding full graphs. Specifically, we for the first time discover
the existence of graph early-bird (GEB) tickets that emerge at the very early
stage when sparsifying GCN graphs, and propose a simple yet effective detector
to automatically identify the emergence of such GEB tickets. Furthermore, we
develop a generic efficient GCN training framework dubbed GEBT that can
significantly boost the efficiency of GCN training by (1) drawing joint
early-bird tickets between the GCN graphs and models and (2) enabling
simultaneously sparsifying both GCN graphs and models, paving the way for
training and inferencing large GCN graphs to handle real-world graph datasets.
Experiments on various GCN models and datasets consistently validate our GEB
finding and the effectiveness of our GEBT, e.g., our GEBT achieves up to 80.2%
~ 85.6% and 84.6% ~ 87.5% savings of GCN training and inference costs while
leading to a comparable or even better accuracy as compared to state-of-the-art
methods. Code available at https://github.com/RICE-EIC/GEBT
- Abstract(参考訳): graph convolutional networks(gcns)は、グラフ上の表現学習のための最先端のディープラーニングモデルとして登場した。
しかし、大規模なグラフデータセット上のGCNのトレーニングと推論は、大きな実世界のグラフへの適用を制限し、より深く、より洗練されたGCNグラフの探索を妨げることでも有名です。
これは、グラフのサイズが大きくなるにつれて、ノードの多数の特徴と大きな隣接行列が要求されるメモリとデータの動きを簡単に爆発させることができるためである。
前述の課題に取り組むために、GCNグラフをスパースする際に宝くじを描画する可能性を探ります。すなわち、隣接行列を大幅に縮小するが、対応するフルグラフと同等以上の精度を達成できるサブグラフです。
具体的には,GCNグラフをスパシライズする際,ごく初期段階に出現するグラフアーリーバード(GEB)チケットの存在を初めて発見し,GABチケットの出現を自動的に識別する簡易かつ効果的な検出器を提案する。
さらに,GEBTと呼ばれる汎用的なGCNトレーニングフレームワークを開発し,(1)GCNグラフとモデル間で早期バードチケットを共同で描画し,(2)GCNグラフとモデルを同時に分散させることにより,実世界のグラフデータセットを扱うための大規模GCNグラフのトレーニングと推論の方法を確立することにより,GCNトレーニングの効率を大幅に向上させることができる。
様々なGCNモデルとデータセットの実験は、GEBTのGEB発見と効果を一貫して検証し、例えば、GEBTは80.2% 〜85.6%、84.6% ~87.5%のGCNトレーニングと推論コストを削減し、最先端の手法と同等またはそれ以上の精度を実現した。
https://github.com/RICE-EIC/GEBT
関連論文リスト
- ELU-GCN: Effectively Label-Utilizing Graph Convolutional Network [17.273475235903355]
ELU-GCNと呼ばれる新しい2段階のフレームワークを提案する。
最初の段階では、ELU-GCNはグラフ学習を行い、新しいグラフ構造を学ぶ。
第2段階では、表現学習のためのGCNフレームワーク上で、新しいグラフコントラスト学習を設計する。
論文 参考訳(メタデータ) (2024-11-04T17:08:59Z) - A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
グラフ変換器(GT)が導入された。
GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。
GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
論文 参考訳(メタデータ) (2024-06-17T19:57:34Z) - Graph Contrastive Learning with Generative Adversarial Network [35.564028359355596]
グラフ生成逆数ネットワーク(GAN)はグラフコントラスト学習(GCL)のためのビューの分布を学習する
本稿では,グラフ表現学習のためのジェネレーティブ・コントラスト学習ネットワークであるGACNを提案する。
GACNはGCLの高品質な拡張ビューを生成することができ、12の最先端のベースライン手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-01T13:28:24Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳(メタデータ) (2022-07-18T14:23:31Z) - Graph Generative Model for Benchmarking Graph Neural Networks [73.11514658000547]
本稿では,プライバシ制御により実世界のグラフの分布を学習し,再現する新しいグラフ生成モデルを提案する。
我々のモデルは、GNNモデルのベンチマークに効果的に使用できる大規模な実世界のグラフの、プライバシ制御された合成代用をうまく生成することができる。
論文 参考訳(メタデータ) (2022-07-10T06:42:02Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳(メタデータ) (2022-03-05T00:28:43Z) - GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm
and Accelerator Co-Design [27.311994997480745]
グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。
大きなグラフデータセット上でGCNを推論することは、非常に難しい。
本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-22T00:30:50Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳(メタデータ) (2021-02-12T21:52:43Z) - Iterative Deep Graph Learning for Graph Neural Networks: Better and
Robust Node Embeddings [53.58077686470096]
グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。
実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
論文 参考訳(メタデータ) (2020-06-21T19:49:15Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳(メタデータ) (2020-06-13T23:00:22Z) - Directed Graph Convolutional Network [15.879411956536885]
スペクトルベースのグラフ畳み込みを1階と2階の近接を利用して有向グラフに拡張する。
DGCNと呼ばれる新しいGCNモデルは、有向グラフ上で表現を学ぶように設計されている。
論文 参考訳(メタデータ) (2020-04-29T06:19:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。