論文の概要: Characterizing and Understanding HGNN Training on GPUs

• arxiv url: http://arxiv.org/abs/2407.11790v2
• Date: Thu, 18 Jul 2024 00:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 11:38:46.587316
• Title: Characterizing and Understanding HGNN Training on GPUs
• Title（参考訳）: GPUによるHGNNトレーニングの特性と理解
• Authors: Dengke Han, Mingyu Yan, Xiaochun Ye, Dongrui Fan, Ninghui Sun,
• Abstract要約: ヘテロジニアスグラフニューラルネットワーク(HGNN)は、レコメンデーションシステムや医療分析など、多くの現実世界の領域で広く採用されている。 HGNNトレーニングの効率を高めるためには、トレーニングプロセス内の実行セマンティクスとパターンを特徴づけて分析し、パフォーマンスボトルネックを特定することが不可欠である。
• 参考スコア（独自算出の注目度）: 9.955760955770783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Owing to their remarkable representation capabilities for heterogeneous graph data, Heterogeneous Graph Neural Networks (HGNNs) have been widely adopted in many critical real-world domains such as recommendation systems and medical analysis. Prior to their practical application, identifying the optimal HGNN model parameters tailored to specific tasks through extensive training is a time-consuming and costly process. To enhance the efficiency of HGNN training, it is essential to characterize and analyze the execution semantics and patterns within the training process to identify performance bottlenecks. In this study, we conduct an in-depth quantification and analysis of two mainstream HGNN training scenarios, including single-GPU and multi-GPU distributed training. Based on the characterization results, we disclose the performance bottlenecks and their underlying causes in different HGNN training scenarios and provide optimization guidelines from both software and hardware perspectives.
• Abstract（参考訳）: 不均一グラフデータに対する顕著な表現能力のため、ヘテロジニアスグラフニューラルネットワーク(HGNN)は、レコメンデーションシステムや医療分析など、多くの重要な現実世界領域で広く採用されている。 実践的な応用に先立ち、広範囲なトレーニングを通じて特定のタスクに適した最適なHGNNモデルパラメータを特定することは、時間とコストのかかるプロセスである。 HGNNトレーニングの効率を高めるためには、トレーニングプロセス内の実行セマンティクスとパターンを特徴づけて分析し、パフォーマンスボトルネックを特定することが不可欠である。 本研究では,シングルGPUとマルチGPU分散トレーニングを含む2つの主流HGNNトレーニングシナリオの詳細な定量化と分析を行う。 評価結果に基づいて,異なるHGNNトレーニングシナリオにおける性能ボトルネックとその根本原因を明らかにし,ソフトウェアとハードウェアの両方の観点から最適化ガイドラインを提供する。

関連論文リスト

• SiHGNN: Leveraging Properties of Semantic Graphs for Efficient HGNN Acceleration [9.85638913900595]
  不均一グラフニューラルネットワーク (HGNN) は、グラフ表現学習を異種グラフ場に拡張した。 近年の研究では、医療分析やレコメンデーションシステムなど、様々な応用において優れた性能を示している。 我々は,SiHGNNと呼ばれるHGNN用の軽量ハードウェアアクセラレータを提案する。このアクセラレータはツリーベースのセマンティックグラフビルダーを組み込んで,効率的なセマンティックグラフ生成を実現し,セマンティックグラフレイアウトを最適化するための新しいグラフ再構成器を備えている。
  論文  参考訳（メタデータ） (2024-08-27T14:20:21Z)
• A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。 分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
  論文  参考訳（メタデータ） (2022-11-10T06:22:12Z)
• Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass [10.839902229218577]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
  論文  参考訳（メタデータ） (2022-11-06T04:22:19Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Bottleneck Analysis of Dynamic Graph Neural Network Inference on CPU and GPU [3.4214598355901638]
  動的グラフニューラルネットワーク(DGNN)は、現実世界の動的特徴のキャプチャに広く利用されているため、ますます人気が高まっている。 DGNNをハードウェアにデプロイすることは、モデルの複雑さ、多様性、時間依存性の性質など、さらなる課題を提起する。 我々は、異なる特性を持つ8つの一般的なDGNNを選択し、それらをCPUとGPUの両方でプロファイルする。
  論文  参考訳（メタデータ） (2022-10-08T03:41:50Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Characterizing and Understanding Distributed GNN Training on GPUs [2.306379679349986]
  グラフニューラルネットワーク(GNN)は、グラフを学習する上で有効であるとして、多くの領域において強力なモデルであることが実証されている。 大規模グラフに対するGNNトレーニングをスケールするために、分散トレーニングが広く採用されている。
  論文  参考訳（メタデータ） (2022-04-18T03:47:28Z)
• An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering [79.17319280791237]
  局所的協調フィルタリング(ADAPT)のための適応グラフ事前学習フレームワークを提案する。 ADAPTは、異なるグラフにまたがる共通知識と、各グラフの特異性の両方をキャプチャする。 ユーザ/イテムの埋め込みを転送する必要はなく、異なるグラフにまたがる共通知識と各グラフのユニークさの両方をキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-14T06:53:13Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。