論文の概要: Early-Bird GCNs: Graph-Network Co-Optimization Towards More Efficient GCN Training and Inference via Drawing Early-Bird Lottery Tickets

• arxiv url: http://arxiv.org/abs/2103.00794v3
• Date: Mon, 03 Mar 2025 17:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:10:59.884987
• Title: Early-Bird GCNs: Graph-Network Co-Optimization Towards More Efficient GCN Training and Inference via Drawing Early-Bird Lottery Tickets
• Title（参考訳）: Early-Bird GCN: より効率的なGCNトレーニングと推論を目的としたグラフネットワークの共同最適化
• Authors: Haoran You, Zhihan Lu, Zijian Zhou, Yonggan Fu, Yingyan Celine Lin,
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、グラフ上での表現学習のための最先端のディープラーニングモデルとして登場した。 本稿では,GCNトレーニングの効率を大幅に向上させる,GEBTと呼ばれる汎用的なGCN早期学習フレームワークを提案する。 我々のGEBTは80.2% 85.6%、84.6% 87.5%のGCNトレーニングと推論コストを削減し、最先端の手法と比べて同等またはそれ以上の精度を提供する。
• 参考スコア（独自算出の注目度）: 18.467717766989285
• License:
• Abstract: Graph Convolutional Networks (GCNs) have emerged as the state-of-the-art deep learning model for representation learning on graphs. However, it remains notoriously challenging to train and inference GCNs over large graph datasets, limiting their application to large real-world graphs and hindering the exploration of deeper and more sophisticated GCN graphs. This is because as the graph size grows, the sheer number of node features and the large adjacency matrix can easily explode the required memory and data movements. To tackle the aforementioned challenges, we explore the possibility of drawing lottery tickets when sparsifying GCN graphs, i.e., subgraphs that largely shrink the adjacency matrix yet are capable of achieving accuracy comparable to or even better than their full graphs. Specifically, we for the first time discover the existence of graph early-bird (GEB) tickets that emerge at the very early stage when sparsifying GCN graphs, and propose a simple yet effective detector to automatically identify the emergence of such GEB tickets. Furthermore, we advocate graph-model co-optimization and develop a generic efficient GCN early-bird training framework dubbed GEBT that can significantly boost the efficiency of GCN training by (1) drawing joint early-bird tickets between the GCN graphs and models and (2) enabling simultaneously sparsification of both the GCN graphs and models. Experiments on various GCN models and datasets consistently validate our GEB finding and the effectiveness of our GEBT, e.g., our GEBT achieves up to 80.2% ~ 85.6% and 84.6% ~ 87.5% savings of GCN training and inference costs while offering a comparable or even better accuracy as compared to state-of-the-art methods. Our source code and supplementary appendix are available at https://github.com/RICE-EIC/Early-Bird-GCN.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、グラフ上の表現学習のための最先端のディープラーニングモデルとして登場した。 しかし、大規模なグラフデータセット上でGCNをトレーニングし、推論すること、アプリケーションを大規模な現実世界のグラフに制限すること、より深くより洗練されたGCNグラフの探索を妨げることが知られている。 これは、グラフのサイズが大きくなるにつれて、ノードの多数の特徴と大きな隣接行列が要求されるメモリとデータの動きを簡単に爆発させることができるためである。 上記の課題に対処するために、GCNグラフをスペーシングする際に宝くじを描画する可能性を探る。 具体的には,GCNグラフをスパシライズする際,ごく初期段階に出現するグラフアーリーバード(GEB)チケットの存在を初めて発見し,GABチケットの出現を自動的に識別する簡易かつ効果的な検出器を提案する。 さらに,グラフモデルの共同最適化を提唱し,GEBTと呼ばれる汎用的なGCN早期バードトレーニングフレームワークを開発し,(1)GCNグラフとモデル間の共同早期バードチケットの描画,(2)GCNグラフとモデルの両方を同時にスパース化可能にすることにより,GCNトレーニングの効率を大幅に向上させることができる。 様々なGCNモデルとデータセットによる実験は、GEBTのGEB発見と効果を一貫して検証し、GEBTは80.2% 〜85.6%、84.6% ~87.5%のGCNトレーニングと推論コストを削減し、最先端の手法と比較して同等またはそれ以上の精度を提供する。 ソースコードと補足注記はhttps://github.com/RICE-EIC/Early-Bird-GCN.comで公開されている。

関連論文リスト

• DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling [10.556366638048384]
  Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。 DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。 DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
  論文  参考訳（メタデータ） (2024-12-06T02:59:01Z)
• ELU-GCN: Effectively Label-Utilizing Graph Convolutional Network [17.273475235903355]
  ELU-GCNと呼ばれる新しい2段階のフレームワークを提案する。 最初の段階では、ELU-GCNはグラフ学習を行い、新しいグラフ構造を学ぶ。 第2段階では、表現学習のためのGCNフレームワーク上で、新しいグラフコントラスト学習を設計する。
  論文  参考訳（メタデータ） (2024-11-04T17:08:59Z)
• A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
  グラフ変換器(GT)が導入された。 GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。 GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T19:57:34Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Graph Generative Model for Benchmarking Graph Neural Networks [73.11514658000547]
  本稿では,プライバシ制御により実世界のグラフの分布を学習し,再現する新しいグラフ生成モデルを提案する。 我々のモデルは、GNNモデルのベンチマークに効果的に使用できる大規模な実世界のグラフの、プライバシ制御された合成代用をうまく生成することができる。
  論文  参考訳（メタデータ） (2022-07-10T06:42:02Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design [27.311994997480745]
  グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。 大きなグラフデータセット上でGCNを推論することは、非常に難しい。 本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-22T00:30:50Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Directed Graph Convolutional Network [15.879411956536885]
  スペクトルベースのグラフ畳み込みを1階と2階の近接を利用して有向グラフに拡張する。 DGCNと呼ばれる新しいGCNモデルは、有向グラフ上で表現を学ぶように設計されている。
  論文  参考訳（メタデータ） (2020-04-29T06:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。