論文の概要: Tango: rethinking quantization for graph neural network training on GPUs

• arxiv url: http://arxiv.org/abs/2308.00890v2
• Date: Fri, 1 Sep 2023 03:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 16:22:54.049610
• Title: Tango: rethinking quantization for graph neural network training on GPUs
• Title（参考訳）: tango: gpuによるグラフニューラルネットワークトレーニングのための量子化再考
• Authors: Shiyang Chen, Da Zheng, Caiwen Ding, Chengying Huan, Yuede Ji, Hang Liu
• Abstract要約: グラフニューラルネットワーク(GNN)は、重要なグラフ関連タスクにおける優れたパフォーマンスのために、ますます人気が高まっている。 量子化はGNN計算の高速化に広く利用されているが、量子化トレーニングは前例のない課題に直面している。 本稿では、GPU上でのグラフニューラルネットワークトレーニングにおける量子化の課題と機会を再考するTangoを紹介する。
• 参考スコア（独自算出の注目度）: 13.34630395496697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are becoming increasingly popular due to their superior performance in critical graph-related tasks. While quantization is widely used to accelerate GNN computation, quantized training faces unprecedented challenges. Current quantized GNN training systems often have longer training times than their full-precision counterparts for two reasons: (i) addressing the accuracy challenge leads to excessive overhead, and (ii) the optimization potential exposed by quantization is not adequately leveraged. This paper introduces Tango which re-thinks quantization challenges and opportunities for graph neural network training on GPUs with three contributions: Firstly, we introduce efficient rules to maintain accuracy during quantized GNN training. Secondly, we design and implement quantization-aware primitives and inter-primitive optimizations that can speed up GNN training. Finally, we integrate Tango with the popular Deep Graph Library (DGL) system and demonstrate its superior performance over state-of-the-art approaches on various GNN models and datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、重要なグラフ関連タスクにおける優れたパフォーマンスのために、ますます人気が高まっている。 量子化はGNN計算の高速化に広く利用されているが、量子化トレーニングは前例のない課題に直面している。 現在の量子化GNNトレーニングシステムは、2つの理由から、フル精度のトレーニングよりも長いトレーニング時間を持つことが多い。 (i)精度の課題に対処すると過度のオーバーヘッドが生じ、 (ii)量子化によって露呈する最適化ポテンシャルを十分に活用していない。 本稿では,3つの貢献により,gpu上でのグラフニューラルネットワークトレーニングにおける量子化の課題と機会を再考するtangoを紹介する。 第2に、GNNのトレーニングを高速化できる量子化対応プリミティブと原位置最適化を設計、実装する。 最後に、Tangoを人気のDeep Graph Library(DGL)システムに統合し、さまざまなGNNモデルやデータセットの最先端アプローチよりも優れたパフォーマンスを示す。

関連論文リスト

• Characterizing and Understanding HGNN Training on GPUs [9.579848162902628]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、レコメンデーションシステムや医療分析など、多くの現実世界の領域で広く採用されている。 HGNNトレーニングの効率を高めるためには、トレーニングプロセス内の実行セマンティクスとパターンを特徴づけて分析し、パフォーマンスボトルネックを特定することが不可欠である。
  論文  参考訳（メタデータ） (2024-07-16T14:45:46Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass [10.839902229218577]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
  論文  参考訳（メタデータ） (2022-11-06T04:22:19Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Characterizing and Understanding Distributed GNN Training on GPUs [2.306379679349986]
  グラフニューラルネットワーク(GNN)は、グラフを学習する上で有効であるとして、多くの領域において強力なモデルであることが実証されている。 大規模グラフに対するGNNトレーニングをスケールするために、分散トレーニングが広く採用されている。
  論文  参考訳（メタデータ） (2022-04-18T03:47:28Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。