Fugu-MT 論文翻訳(概要): Graph Neural Network Training with Data Tiering

論文の概要: Graph Neural Network Training with Data Tiering

arxiv url: http://arxiv.org/abs/2111.05894v1
Date: Wed, 10 Nov 2021 19:35:10 GMT
ステータス: 処理完了
システム内更新日: 2021-11-12 14:33:22.872438
Title: Graph Neural Network Training with Data Tiering
Title（参考訳）: データタイリングによるグラフニューラルネットワークトレーニング
Authors: Seung Won Min, Kun Wu, Mert Hidayeto\u{g}lu, Jinjun Xiong, Xiang Song, Wen-mei Hwu
Abstract要約: グラフニューラルネットワーク(GNN)は、不正検出やレコメンデーション、知識グラフ推論など、グラフ構造化データから学ぶことに成功している。しかし,1)GPUメモリ容量が限られ,大規模なデータセットでは不十分であり,2)グラフベースのデータ構造が不規則なデータアクセスパターンを引き起こすため,GNNを効率的にトレーニングすることは困難である。本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。
参考スコア（独自算出の注目度）: 16.02267628659034
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) have shown success in learning from graph-structured data, with applications to fraud detection, recommendation, and knowledge graph reasoning. However, training GNN efficiently is challenging because: 1) GPU memory capacity is limited and can be insufficient for large datasets, and 2) the graph-based data structure causes irregular data access patterns. In this work, we provide a method to statistical analyze and identify more frequently accessed data ahead of GNN training. Our data tiering method not only utilizes the structure of input graph, but also an insight gained from actual GNN training process to achieve a higher prediction result. With our data tiering method, we additionally provide a new data placement and access strategy to further minimize the CPU-GPU communication overhead. We also take into account of multi-GPU GNN training as well and we demonstrate the effectiveness of our strategy in a multi-GPU system. The evaluation results show that our work reduces CPU-GPU traffic by 87-95% and improves the training speed of GNN over the existing solutions by 1.6-2.1x on graphs with hundreds of millions of nodes and billions of edges.
Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ構造化データから学ぶことに成功し、不正検出、推薦、ナレッジグラフ推論に応用されている。しかし、GNNを効率的に訓練することは困難である。 1)GPUメモリ容量は限られており、大規模なデータセットには不十分である。 2) グラフベースのデータ構造は不規則なデータアクセスパターンを引き起こす。本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。我々のデータ階層化手法は,入力グラフの構造だけでなく,実際のGNNトレーニングプロセスから得られる洞察も活用し,より高い予測結果を得る。また,データ階層化手法により,CPU-GPU通信のオーバーヘッドを最小化する新たなデータ配置とアクセス戦略も提供する。また、マルチGPU GNNトレーニングも考慮し、マルチGPUシステムにおける戦略の有効性を実証する。評価の結果,CPU-GPUのトラフィックを87～95%削減し,数十億のノードと数十億のエッジを持つグラフ上でGNNを1.6～2.1倍高速化した。

関連論文リスト

Graph Unlearning with Efficient Partial Retraining [28.433619085748447]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで顕著な成功を収めている。 GNNは、望ましくないグラフデータに基づいてトレーニングされ、パフォーマンスと信頼性を低下させることができる。学習不能なGNNのモデルユーティリティをよりよく維持するグラフアンラーニングフレームワークであるGraphRevokerを提案する。
論文参考訳（メタデータ） (2024-03-12T06:22:10Z)
Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
論文参考訳（メタデータ） (2022-11-06T20:46:50Z)
Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文参考訳（メタデータ） (2022-10-27T16:00:45Z)
SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
論文参考訳（メタデータ） (2022-07-19T10:32:11Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
論文参考訳（メタデータ） (2021-12-16T00:37:37Z)
Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-07T15:05:59Z)
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy [5.466414428765544]
新しい分散グラフ学習システムGraphThetaを紹介します。複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
論文参考訳（メタデータ） (2021-04-21T14:51:33Z)
A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文参考訳（メタデータ） (2021-02-12T21:52:43Z)
Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文参考訳（メタデータ） (2020-07-03T09:30:07Z)
GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
論文参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。