論文の概要: Selective Parallel Loading of Large-Scale Compressed Graphs with ParaGrapher
- arxiv url: http://arxiv.org/abs/2404.19735v2
- Date: Mon, 17 Jun 2024 17:33:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 04:48:05.697578
- Title: Selective Parallel Loading of Large-Scale Compressed Graphs with ParaGrapher
- Title（参考訳）: ParaGrapher を用いた大規模圧縮グラフの選択的並列ロード
- Authors: Mohsen Koohi Esfahani, Marco D'Antonio, Syed Ibtisam Tauhidi, Thai Son Mai, Hans Vandierendonck,
- Abstract要約: ParaGrapherは、大規模および圧縮されたグラフをロードするための高性能なAPIとライブラリである。
本稿ではParaGrapherの設計とグラフ圧縮の性能モデルを提案する。
評価の結果,ParaGrapherはロード時の最大3.2倍,エンドツーエンド実行時の最大5.2倍のスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 3.298283787389057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Comprehensive evaluation is one of the basis of experimental science. In High-Performance Graph Processing, a thorough evaluation of contributions becomes more achievable by supporting common input formats over different frameworks. However, each framework creates its specific format, which may not support reading large-scale real-world graph datasets. This shows a demand for high-performance libraries capable of loading graphs to (i) accelerate designing new graph algorithms, (ii) to evaluate the contributions on a wide range of graph algorithms, and (iii) to facilitate easy and fast comparison over different graph frameworks. To that end, we present ParaGrapher, a high-performance API and library for loading large-scale and compressed graphs. ParaGrapher supports different types of requests for accessing graphs in shared- and distributed-memory and out-of-core graph processing. We explain the design of ParaGrapher and present a performance model of graph decompression, which is used for evaluation of ParaGrapher over three storage types. Our evaluation shows that by decompressing compressed graphs in WebGraph format, ParaGrapher delivers up to 3.2 times speedup in loading and up to 5.2 times speedup in end-to-end execution in comparison to the binary and textual formats. ParaGrapher is available online on https://blogs.qub.ac.uk/DIPSA/ParaGrapher/.
- Abstract（参考訳）: 総合評価は実験科学の基礎の1つである。
高性能グラフ処理では、さまざまなフレームワーク上で共通の入力フォーマットをサポートすることで、コントリビューションの徹底的な評価がより達成できるようになります。
しかし、それぞれのフレームワークは、大規模な実世界のグラフデータセットの読み込みをサポートしない特定のフォーマットを作成する。
これはグラフをロードできる高性能ライブラリの需要を示している。
(i)新しいグラフアルゴリズムの設計を加速する
(二)幅広いグラフアルゴリズムへの貢献を評価すること、及び
(iii)異なるグラフフレームワークに対する簡易かつ高速な比較を容易にすること。
そこで我々は,大規模および圧縮されたグラフをロードする高性能APIおよびライブラリであるParaGrapherを紹介する。
ParaGrapherは、共有メモリおよび分散メモリおよびアウトオブコアグラフ処理でグラフにアクセスするためのさまざまなタイプのリクエストをサポートする。
本稿では,ParaGrapherの設計と,ParaGrapherを3つのストレージタイプで評価するグラフ圧縮の性能モデルについて説明する。
評価の結果,ParaGrapherは圧縮グラフをWebGraph形式で圧縮することにより,ロード時の最大3.2倍,エンドツーエンド実行時の最大5.2倍の高速化を実現している。
ParaGrapherはhttps://blogs.qub.ac.uk/DIPSA/ParaGrapher/.comで公開されている。
関連論文リスト
- InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。
InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。
Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
論文 参考訳（メタデータ） (2024-10-09T17:56:15Z) - GraphSnapShot: Graph Machine Learning Acceleration with Fast Storage and Retrieval [19.225957670728622]
GraphSnapShotは、グラフ学習のための高速キャッシュ、ストレージ、検索、計算のためのフレームワークである。
ロスレスグラフMLトレーニングでは、最大30%のトレーニングアクセラレーションと73%のメモリ削減を実現することができる。
論文 参考訳（メタデータ） (2024-06-25T20:00:32Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳（メタデータ） (2024-02-12T13:13:04Z) - Faster Optimization in S-Graphs Exploiting Hierarchy [8.17925295907622]
冗長なロボットのポーズを余剰にすることでグラフサイズを削減するため,階層構造を利用したSグラフの改良版を提案する。
ベースラインに対する計算時間を39.81%削減しながら,ベースラインと同等の精度を示す。
論文 参考訳（メタデータ） (2023-08-22T07:35:15Z) - Hybrid Graph: A Unified Graph Representation with Datasets and
Benchmarks for Complex Graphs [27.24150788635981]
ハイブリッドグラフの概念を導入し、ハイブリッドグラフベンチマーク(HGB)を紹介する。
HGBには、生物学、ソーシャルメディア、eコマースなど、さまざまな領域にわたる23の現実世界のハイブリッドグラフデータセットが含まれている。
HGB上でグラフニューラルネットワーク(GNN)のトレーニングと評価を容易にするための評価フレームワークと支援フレームワークを提供する。
論文 参考訳（メタデータ） (2023-06-08T11:15:34Z) - Distributed Graph Embedding with Information-Oriented Random Walks [16.290803469068145]
グラフ埋め込みはグラフノードを低次元ベクトルにマッピングし、機械学習タスクで広く採用されている。
数十億のエッジグラフを埋め込むためにスケール可能な,汎用的で分散された情報中心のランダムウォークベースのグラフ埋め込みフレームワークであるDistGERを提案する。
D DistGERは2.33x-129x加速、機械間通信の45%削減、下流タスクの10%改善を示す。
論文 参考訳（メタデータ） (2023-03-28T03:11:21Z) - CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph
Similarity Learning [65.1042892570989]
自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。
我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。
我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
論文 参考訳（メタデータ） (2022-05-30T13:20:26Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳（メタデータ） (2021-09-24T08:01:23Z) - High-Order Relation Construction and Mining for Graph Matching [36.880853889521845]
高次情報を記述するために、反復線グラフが最初に導入された。
本稿では,HGMN(High-order Graph Matching Network)と呼ばれる新しいグラフマッチング手法を提案する。
実用的な制約を課すことで、HGMNは大規模グラフに拡張性を持たせることができる。
論文 参考訳（メタデータ） (2020-10-09T03:30:02Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-07-08T19:48:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。