論文の概要: BiFeat: Supercharge GNN Training via Graph Feature Quantization

• arxiv url: http://arxiv.org/abs/2207.14696v1
• Date: Fri, 29 Jul 2022 14:07:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 13:07:57.481628
• Title: BiFeat: Supercharge GNN Training via Graph Feature Quantization
• Title（参考訳）: BiFeat:グラフ特徴量化によるスーパーチャージGNNトレーニング
• Authors: Yuxin Ma, Ping Gong, Jun Yi, Zhewei Yao, Minjie Wang, Cheng Li, Yuxiong He, Feng Yan
• Abstract要約: 本稿では,GNNトレーニングを加速するグラフ特徴量化手法であるBiFeatを提案する。 我々は,BiFeatが30以上の圧縮比を達成し,GNNトレーニング速度を200%～320%向上し,限界精度の損失が生じることを示した。 特にBiFeatは,4GPUのみを使用して,MAG240M上でGraphSAGEを1時間以内にトレーニングすることで,記録を達成している。
• 参考スコア（独自算出の注目度）: 25.07105676797603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) is a promising approach for applications with nonEuclidean data. However, training GNNs on large scale graphs with hundreds of millions nodes is both resource and time consuming. Different from DNNs, GNNs usually have larger memory footprints, and thus the GPU memory capacity and PCIe bandwidth are the main resource bottlenecks in GNN training. To address this problem, we present BiFeat: a graph feature quantization methodology to accelerate GNN training by significantly reducing the memory footprint and PCIe bandwidth requirement so that GNNs can take full advantage of GPU computing capabilities. Our key insight is that unlike DNN, GNN is less prone to the information loss of input features caused by quantization. We identify the main accuracy impact factors in graph feature quantization and theoretically prove that BiFeat training converges to a network where the loss is within $\epsilon$ of the optimal loss of uncompressed network. We perform extensive evaluation of BiFeat using several popular GNN models and datasets, including GraphSAGE on MAG240M, the largest public graph dataset. The results demonstrate that BiFeat achieves a compression ratio of more than 30 and improves GNN training speed by 200%-320% with marginal accuracy loss. In particular, BiFeat achieves a record by training GraphSAGE on MAG240M within one hour using only four GPUs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、非ユークリッドデータを持つアプリケーションにとって有望なアプローチである。 しかし、数十億のノードを持つ大規模グラフ上でのGNNのトレーニングは、リソースと時間の両方を消費する。 DNNとは異なり、GNNはメモリフットプリントが大きくなるため、GPUメモリ容量とPCIe帯域幅がGNNトレーニングの主要なリソースボトルネックとなる。 メモリフットプリントとPCIe帯域幅の要求を大幅に削減し,GNNがGPUコンピューティング機能を完全に活用できるようにして,GNNトレーニングを加速するグラフ特徴量化手法であるBiFeatを提案する。 我々の重要な洞察は、DNNとは異なり、GNNは量子化によって引き起こされる入力特徴の情報損失が少ないことである。 グラフ特徴量化における主な精度影響因子を同定し、BiFeatのトレーニングが、非圧縮ネットワークの最適損失の$\epsilon$以内のネットワークに収束することを理論的に証明する。 MAG240M上のグラフSAGEを含む,いくつかの人気のあるGNNモデルとデータセットを用いて,BiFeatを広範囲に評価する。 その結果,BiFeatは30以上の圧縮比を達成し,GNNトレーニング速度を200%～320%向上し,限界精度が低下した。 特に、BiFeatは、たった4つのGPUを使用してMAG240M上のGraphSAGEを1時間以内にトレーニングすることで、記録を達成している。

関連論文リスト

• SpanGNN: Towards Memory-Efficient Graph Neural Networks via Spanning Subgraph Training [14.63975787929143]
  グラフニューラルネットワーク(GNN)は、グラフデータを学習する能力に優れています。 フルグラフGNNトレーニングは一般的に精度が高いが、ピークメモリ使用量が多い。 本研究では,SpanGNNと呼ばれるスパンニングサブグラフを用いたメモリ効率のよいGNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T13:46:23Z)
• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs [19.254040098787893]
  最近の研究によると、バイナリグラフニューラルネットワーク(GNN)は双有理テンソルによるGNNの計算を省くことを約束している。 この作業は、効率の観点からバイナリGNN推論を再設計する。 GCN、GraphSAGE、GraphSAINTによる実世界のグラフの結果、提案手法は、同じ精度で8-22Xで最先端のバイナリGNN実装より優れていた。
  論文  参考訳（メタデータ） (2023-05-04T03:20:25Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。