論文の概要: Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass

• arxiv url: http://arxiv.org/abs/2211.03021v1
• Date: Sun, 6 Nov 2022 04:22:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:56:30.104373
• Title: Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass
• Title（参考訳）: 拡大ガラスを用いたグラフニューラルネットワークフレームワークの効率性評価
• Authors: Xin Huang, Jongryool Kim, Bradley Rees, Chul-Ho Lee
• Abstract要約: グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
• 参考スコア（独自算出の注目度）: 10.839902229218577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have received great attention due to their success in various graph-related learning tasks. Several GNN frameworks have then been developed for fast and easy implementation of GNN models. Despite their popularity, they are not well documented, and their implementations and system performance have not been well understood. In particular, unlike the traditional GNNs that are trained based on the entire graph in a full-batch manner, recent GNNs have been developed with different graph sampling techniques for mini-batch training of GNNs on large graphs. While they improve the scalability, their training times still depend on the implementations in the frameworks as sampling and its associated operations can introduce non-negligible overhead and computational cost. In addition, it is unknown how much the frameworks are 'eco-friendly' from a green computing perspective. In this paper, we provide an in-depth study of two mainstream GNN frameworks along with three state-of-the-art GNNs to analyze their performance in terms of runtime and power/energy consumption. We conduct extensive benchmark experiments at several different levels and present detailed analysis results and observations, which could be helpful for further improvement and optimization.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功によって大きな注目を集めている。 その後、GNNモデルの高速かつ簡単な実装のために、いくつかのGNNフレームワークが開発された。 その人気にもかかわらず、それらは十分に文書化されておらず、その実装とシステム性能はよく理解されていない。 特に、グラフ全体をフルバッチでトレーニングする従来のGNNとは異なり、最近のGNNはグラフサンプリング技術を用いて、大規模グラフ上でのGNNのミニバッチトレーニングを行っている。 スケーラビリティは向上するが、トレーニング時間はサンプリングとしてフレームワークの実装に依存しており、関連する操作は不要なオーバーヘッドと計算コストをもたらす可能性がある。 さらに、グリーンコンピューティングの観点から、フレームワークがどの程度'エコフレンドリー'なのかは不明だ。 本稿では,2つの主流GNNフレームワークと3つの最先端GNNについて,ランタイムと電力/エネルギー消費の観点から,その性能を詳細に分析する。 いくつかの異なるレベルで広範なベンチマーク実験を行い、詳細な分析結果と観察を行い、さらなる改善と最適化に役立ちます。

関連論文リスト

• Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
  グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。 GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。 11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-16T03:59:18Z)
• LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
  グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。 LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。 総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-02-03T02:33:07Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking Systems [4.1591055164123665]
  本稿では,ネットワークシステムのためのグラフニューラルネットワーク(GNN)の高速プロトタイピングを可能にする,新しいオープンソースフレームワークIGNNITIONを提案する。 IGNNITIONは、GNNの背後にある複雑さを隠す直感的な高レベルの抽象化に基づいている。 IGNNITIONが生成するGNNモデルは,ネイティブ実装の精度と性能の点で同等であることを示す。
  論文  参考訳（メタデータ） (2021-09-14T14:28:21Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• Computing Graph Neural Networks: A Survey from Algorithms to Accelerators [2.491032752533246]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データからモデル化および学習する能力のため、近年、機械学習の現場で爆発的に普及している。 本稿では,GNNの分野をコンピュータの観点から概観する。 現在のソフトウェアとハードウェアアクセラレーションスキームの詳細な分析を行う。
  論文  参考訳（メタデータ） (2020-09-30T22:29:27Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。