論文の概要: Accelerating Graph Sampling for Graph Machine Learning using GPUs

• arxiv url: http://arxiv.org/abs/2009.06693v4
• Date: Tue, 11 May 2021 00:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 13:10:23.991279
• Title: Accelerating Graph Sampling for Graph Machine Learning using GPUs
• Title（参考訳）: GPUを用いたグラフ機械学習のためのグラフサンプリングの高速化
• Authors: Abhinav Jangda, Sandeep Polisetty, Arjun Guha, Marco Serafini
• Abstract要約: NextDoorはGPUリソース上でグラフサンプリングを実行するように設計されたシステムである。 NextDoorは、トランジット並列性(transit-parallelism)と呼ばれるグラフサンプリングに新しいアプローチを採用しています。 我々はいくつかのグラフサンプリングアプリケーションを実装し、NextDoorが既存のシステムよりも桁違いに高速に動作していることを示す。
• 参考スコア（独自算出の注目度）: 2.9383911860380127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning algorithms automatically learn the features of data. Several representation learning algorithms for graph data, such as DeepWalk, node2vec, and GraphSAGE, sample the graph to produce mini-batches that are suitable for training a DNN. However, sampling time can be a significant fraction of training time, and existing systems do not efficiently parallelize sampling. Sampling is an embarrassingly parallel problem and may appear to lend itself to GPU acceleration, but the irregularity of graphs makes it hard to use GPU resources effectively. This paper presents NextDoor, a system designed to effectively perform graph sampling on GPUs. NextDoor employs a new approach to graph sampling that we call transit-parallelism, which allows load balancing and caching of edges. NextDoor provides end-users with a high-level abstraction for writing a variety of graph sampling algorithms. We implement several graph sampling applications, and show that NextDoor runs them orders of magnitude faster than existing systems.
• Abstract（参考訳）: 表現学習アルゴリズムはデータの特徴を自動的に学習する。 DeepWalk、node2vec、GraphSAGEなどのグラフデータの表現学習アルゴリズムは、DNNのトレーニングに適したミニバッチを生成するためにグラフをサンプリングする。 しかし、サンプリング時間はトレーニング時間のかなりの割合であり、既存のシステムはサンプリングを効率的に並列化しない。 サンプリングは恥ずかしいほど並列的な問題であり、GPUアクセラレーションに役立っているように見えるが、グラフの不規則さはGPUリソースを効果的に利用することを難しくしている。 本稿では,GPU上でグラフサンプリングを効果的に行うシステムであるNextDoorを提案する。 NextDoorは、エッジのロードバランシングとキャッシュを可能にするトランジット並列性(transit-parallelism)と呼ばれるグラフサンプリングに、新たなアプローチを採用しています。 NextDoorは、さまざまなグラフサンプリングアルゴリズムを記述するための高度な抽象化を提供する。 いくつかのグラフサンプリングアプリケーションを実装し、NextDoorが既存のシステムよりも桁違いに高速に動作していることを示す。

関連論文リスト

• GNNFlow: A Distributed Framework for Continuous Temporal GNN Learning on Dynamic Graphs [11.302970701867844]
  本稿では,効率的な時間的グラフ表現学習のための分散フレームワークであるGNNFlowを紹介する。 GNNFlowは、負荷バランスを確保するために、静的スケジューリングを備えた複数のマシンでの分散トレーニングをサポートする。 実験の結果,GNNFlowは既存のシステムに比べて最大21.1倍高速な継続的学習を実現することがわかった。
  論文  参考訳（メタデータ） (2023-11-29T07:30:32Z)
• Distributed Matrix-Based Sampling for Graph Neural Network Training [0.0]
  本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。 入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。 新たなサンプリング方法に加えて,行列に基づくバルクサンプリング手法を用いて,エンドツーエンドのトレーニング結果を提供するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-06T06:40:43Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness [4.8412870364335925]
  Quiverは、低レイテンシと高スループットを備えた分散GPUベースのGNNサービスシステムである。 最新のGNN手法と比較して,Quiverは8倍のスループットで最大35倍のレイテンシを実現している。
  論文  参考訳（メタデータ） (2023-05-18T10:34:23Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。