論文の概要: Operation-Level Performance Benchmarking of Graph Neural Networks for Scientific Applications

• arxiv url: http://arxiv.org/abs/2207.09955v1
• Date: Wed, 20 Jul 2022 15:01:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:01:46.627146
• Title: Operation-Level Performance Benchmarking of Graph Neural Networks for Scientific Applications
• Title（参考訳）: 科学応用のためのグラフニューラルネットワークの動作レベルパフォーマンスベンチマーク
• Authors: Ryien Hosseini, Filippo Simini, Venkatram Vishwanath
• Abstract要約: 我々は、Pytorch Geometric Softwareフレームワークで実装された科学計算のために、グラフニューラルネットワーク(GNN)に関連する低レベルの演算をプロファイルし、選択する。 次にこれらをNVIDIA A100 GPU上で厳格にベンチマークし、テンソル間隔を含むいくつかの入力値の組み合わせを行う。 1) メモリの非効率性のようなボトルネックを解消することは、データ空間のみよりも実行時コストを優先することが多い。 これらの結果は、特殊なハードウェア上でこれらの操作を開発する人々のベースラインとして役立ち、その後の分析が将来のソフトウェアおよびハードウェアベースの最適化を促進するのに役立つことを願っています。
• 参考スコア（独自算出の注目度）: 0.15469452301122172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Graph Neural Networks (GNNs) increase in popularity for scientific machine learning, their training and inference efficiency is becoming increasingly critical. Additionally, the deep learning field as a whole is trending towards wider and deeper networks, and ever increasing data sizes, to the point where hard hardware bottlenecks are often encountered. Emerging specialty hardware platforms provide an exciting solution to this problem. In this paper, we systematically profile and select low-level operations pertinent to GNNs for scientific computing implemented in the Pytorch Geometric software framework. These are then rigorously benchmarked on NVIDIA A100 GPUs for several various combinations of input values, including tensor sparsity. We then analyze these results for each operation. At a high level, we conclude that on NVIDIA systems: (1) confounding bottlenecks such as memory inefficiency often dominate runtime costs moreso than data sparsity alone, (2) native Pytorch operations are often as or more competitive than their Pytorch Geometric equivalents, especially at low to moderate levels of input data sparsity, and (3) many operations central to state-of-the-art GNN architectures have little to no optimization for sparsity. We hope that these results serve as a baseline for those developing these operations on specialized hardware and that our subsequent analysis helps to facilitate future software and hardware based optimizations of these operations and thus scalable GNN performance as a whole.
• Abstract（参考訳）: 科学機械学習におけるグラフニューラルネットワーク(GNN)の普及に伴い、そのトレーニングと推論効率はますます重要になっている。 さらに、ディープラーニングの分野全体としては、より広く、より深いネットワーク、そしてこれまではデータサイズが増加する傾向にあり、ハードハードウェアのボトルネックに遭遇することが多い。 新しい専門ハードウェアプラットフォームは、この問題に対するエキサイティングな解決策を提供する。 本稿では,Pytorch Geometric Software フレームワークで実装された科学計算用 GNN に関連する低レベル演算を体系的にプロファイリングし,選択する。 これらはnvidia a100 gpu上でテンソルスパーシティを含む様々な入力値の組み合わせに対して厳格にベンチマークされる。 そして、これらの結果を各操作ごとに分析する。 NVIDIAのシステムでは,1) メモリ非効率性などのボトルネックが,データ空間のみよりも実行コストを優先すること,2) ネイティブなPytorch演算はPytorchと同等以上の競争力を持つこと,3) 入力データ空間の低～中程度のレベルでのPytorch演算,3) 最先端のGNNアーキテクチャの中心となる多くの操作は,空間空間の最適化をほとんど行っていないこと,などが結論付けている。 これらの結果は、特殊なハードウェア上でこれらの操作を開発する人々のベースラインとして機能し、その後の分析によって、これらの操作の将来のソフトウェアやハードウェアベースの最適化や、拡張性のあるGNN全体のパフォーマンスが向上することを期待しています。

関連論文リスト

• AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs [26.607519045805745]
  グラフニューラルネットワーク(GNN)は、グラフ構造や機能から探索および学習するための強力なツールである。 先行研究では、GNNを加速するために入力グラフの空間性を探究する提案がなされており、これは全グラフレベルまたはブロックレベルの空間性フォーマットを使用している。 スパーシティのメリットとカーネルの実行効率のバランスが取れないことを示します。 本稿では,GNNのパフォーマンスを最適化する課題に対処する,AdaptGearと呼ばれる新しいシステムを提案する。
  論文  参考訳（メタデータ） (2023-05-27T08:22:12Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs [8.698995648930806]
  グラフニューラルネットワーク(GNN)は、100億のエッジからなる大規模グラフを処理する。 高速でエネルギー効率のよいGNN処理のための,使い易く,ほぼ保存可能な推論基盤を提供する,大規模グラフの新たなディープラーニングフレームワークであるHolisticGNNを提案する。
  論文  参考訳（メタデータ） (2022-01-23T06:08:18Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Learning on Hardware: A Tutorial on Neural Network Accelerators and Co-Processors [0.0]
  ディープニューラルネットワーク(dnn)は、複雑なタスクを解決可能にするために、多くのパラメータを考慮に入れることができるという利点がある。 コンピュータビジョンや音声認識では、一般的なアルゴリズムよりも精度が高く、タスクによっては人間の専門家よりも精度が高いものもあります。 近年のDNNの進展に伴い、疾患の診断や自動運転など、多くの応用分野が活用されています。
  論文  参考訳（メタデータ） (2021-04-19T12:50:27Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)
• Not Half Bad: Exploring Half-Precision in Graph Convolutional Neural Networks [8.460826851547294]
  現代の機械学習を用いた効率的なグラフ解析は、ますます注目を集めている。 ディープラーニングアプローチは、隣接行列全体にわたって運用されることが多い。 実行時間とメモリ要求の両方を削減するための効率的な対策を特定することが望ましい。
  論文  参考訳（メタデータ） (2020-10-23T19:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。