論文の概要: A Data-Driven Approach to Dataflow-Aware Online Scheduling for Graph Neural Network Inference

• arxiv url: http://arxiv.org/abs/2411.16342v1
• Date: Mon, 25 Nov 2024 12:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:30.466948
• Title: A Data-Driven Approach to Dataflow-Aware Online Scheduling for Graph Neural Network Inference
• Title（参考訳）: グラフニューラルネットワーク推論のためのデータフローを考慮したオンラインスケジューリングへのデータ駆動アプローチ
• Authors: Pol Puigdemont, Enrico Russo, Axel Wassington, Abhijit Das, Sergi Abadal, Maurizio Palesi,
• Abstract要約: GNN推論におけるデータフローを考慮した遅延予測のためのデータ駆動フレームワークを提案する。 我々の回帰器は、与えられたグラフに対して最大91.28%の精度で最適なデータフローを予測でき、平均絶対パーセンテージ誤差(MAPE)は3.78%である。 本稿では、これらの回帰器を用いてスケジューリング決定を強化するオンラインスケジューリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.734578883171713
• License:
• Abstract: Graph Neural Networks (GNNs) have shown significant promise in various domains, such as recommendation systems, bioinformatics, and network analysis. However, the irregularity of graph data poses unique challenges for efficient computation, leading to the development of specialized GNN accelerator architectures that surpass traditional CPU and GPU performance. Despite this, the structural diversity of input graphs results in varying performance across different GNN accelerators, depending on their dataflows. This variability in performance due to differing dataflows and graph properties remains largely unexplored, limiting the adaptability of GNN accelerators. To address this, we propose a data-driven framework for dataflow-aware latency prediction in GNN inference. Our approach involves training regressors to predict the latency of executing specific graphs on particular dataflows, using simulations on synthetic graphs. Experimental results indicate that our regressors can predict the optimal dataflow for a given graph with up to 91.28% accuracy and a Mean Absolute Percentage Error (MAPE) of 3.78%. Additionally, we introduce an online scheduling algorithm that uses these regressors to enhance scheduling decisions. Our experiments demonstrate that this algorithm achieves up to $3.17\times$ speedup in mean completion time and $6.26\times$ speedup in mean execution time compared to the best feasible baseline across all datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、レコメンデーションシステム、バイオインフォマティクス、ネットワーク分析など、さまざまな領域において大きな可能性を示している。 しかし、グラフデータの不規則性は効率的な計算に固有の課題をもたらし、従来のCPUやGPUの性能を上回る特殊なGNNアクセラレータアーキテクチャの開発につながっている。 それにもかかわらず、入力グラフの構造的多様性は、データフローによって異なるGNNアクセラレータ間で様々なパフォーマンスをもたらす。 異なるデータフローとグラフ特性による性能の変動は、GNN加速器の適応性を制限するために、ほとんど未探索のままである。 そこで本研究では,GNN推論におけるデータフローを考慮した遅延予測のためのデータ駆動フレームワークを提案する。 我々のアプローチは、合成グラフのシミュレーションを用いて、特定のデータフロー上で特定のグラフを実行する際の遅延を予測するために、回帰器を訓練することである。 実験の結果,回帰器は最大91.28%の精度で最適なデータフローを予測でき,MAPEは3.78%であることがわかった。 さらに、これらの回帰器を用いてスケジューリング決定を強化するオンラインスケジューリングアルゴリズムを導入する。 我々の実験は、このアルゴリズムが平均完了時間の平均で3.17\times$スピードアップ、平均実行時間の平均で6.26\times$スピードアップを達成することを示した。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• Graph Pruning Based Spatial and Temporal Graph Convolutional Network with Transfer Learning for Traffic Prediction [0.0]
  本研究では,グラフプルーニングと転送学習の枠組みに基づく新しい時空間畳み込みネットワーク(TL-GPSTGN)を提案する。 その結果、単一のデータセット上でのTL-GPSTGNの異常な予測精度と、異なるデータセット間の堅牢なマイグレーション性能が示された。
  論文  参考訳（メタデータ） (2024-09-25T00:59:23Z)
• SiHGNN: Leveraging Properties of Semantic Graphs for Efficient HGNN Acceleration [9.85638913900595]
  不均一グラフニューラルネットワーク (HGNN) は、グラフ表現学習を異種グラフ場に拡張した。 近年の研究では、医療分析やレコメンデーションシステムなど、様々な応用において優れた性能を示している。 我々は,SiHGNNと呼ばれるHGNN用の軽量ハードウェアアクセラレータを提案する。このアクセラレータはツリーベースのセマンティックグラフビルダーを組み込んで,効率的なセマンティックグラフ生成を実現し,セマンティックグラフレイアウトを最適化するための新しいグラフ再構成器を備えている。
  論文  参考訳（メタデータ） (2024-08-27T14:20:21Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Bottleneck Analysis of Dynamic Graph Neural Network Inference on CPU and GPU [3.4214598355901638]
  動的グラフニューラルネットワーク(DGNN)は、現実世界の動的特徴のキャプチャに広く利用されているため、ますます人気が高まっている。 DGNNをハードウェアにデプロイすることは、モデルの複雑さ、多様性、時間依存性の性質など、さらなる課題を提起する。 我々は、異なる特性を持つ8つの一般的なDGNNを選択し、それらをCPUとGPUの両方でプロファイルする。
  論文  参考訳（メタデータ） (2022-10-08T03:41:50Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• ASFGNN: Automated Separated-Federated Graph Neural Network [17.817867271722093]
  本稿では,ASFGNN学習パラダイムを提案する。 我々は,ベンチマークデータセットの実験を行い,ASFGNNが有望なフェデレーションGNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-06T09:21:34Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。