論文の概要: Cooperative Minibatching in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2310.12403v2
- Date: Sun, 22 Oct 2023 02:01:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:32:48.274166
- Title: Cooperative Minibatching in Graph Neural Networks
- Title(参考訳): グラフニューラルネットワークにおける協調的ミニバッチング
- Authors: Muhammed Fatih Balin, Dominique LaSalle, \"Umit V. \c{C}ataly\"urek
- Abstract要約: 近隣爆発現象(NEP)の低減を目的とした協調的最小化手法を提案する。
本研究では, 連続したミニバッチを生成することで, 連続実行において同じ現象を利用する方法を示す。
単一ノードのマルチGPUシステム上では,Independent Minibatchよりも最大64%の高速化を実現しています。
- 参考スコア(独自算出の注目度): 1.534667887016089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Significant computational resources are required to train Graph Neural
Networks (GNNs) at a large scale, and the process is highly data-intensive. One
of the most effective ways to reduce resource requirements is minibatch
training coupled with graph sampling. GNNs have the unique property that items
in a minibatch have overlapping data. However, the commonly implemented
Independent Minibatching approach assigns each Processing Element (PE) its own
minibatch to process, leading to duplicated computations and input data access
across PEs. This amplifies the Neighborhood Explosion Phenomenon (NEP), which
is the main bottleneck limiting scaling. To reduce the effects of NEP in the
multi-PE setting, we propose a new approach called Cooperative Minibatching.
Our approach capitalizes on the fact that the size of the sampled subgraph is a
concave function of the batch size, leading to significant reductions in the
amount of work per seed vertex as batch sizes increase. Hence, it is favorable
for processors equipped with a fast interconnect to work on a large minibatch
together as a single larger processor, instead of working on separate smaller
minibatches, even though global batch size is identical. We also show how to
take advantage of the same phenomenon in serial execution by generating
dependent consecutive minibatches. Our experimental evaluations show up to 4x
bandwidth savings for fetching vertex embeddings, by simply increasing this
dependency without harming model convergence. Combining our proposed
approaches, we achieve up to 64% speedup over Independent Minibatching on
single-node multi-GPU systems.
- Abstract(参考訳): グラフニューラルネットワーク(gnn)を大規模にトレーニングするには、重要な計算リソースが必要であり、そのプロセスは高度にデータ集約的である。
リソース要求を減らす最も効果的な方法の1つは、グラフサンプリングと組み合わせたミニバッチトレーニングである。
gnnには、ミニバッチの項目が重複するデータを持つユニークな特性がある。
しかし、一般的に実装されているIndependent Minibatchingアプローチでは、各処理要素(PE)が独自のミニバッチをプロセスに割り当てる。
これは、スケーリングの主なボトルネックである近傍爆発現象(nep)を増幅する。
複数PE設定におけるNEPの効果を低減するため,協調最小化という新しい手法を提案する。
このアプローチでは,サンプリングされたサブグラフのサイズがバッチサイズの凹関数であるという事実を活かし,バッチサイズの増加に伴って種頂点当たりの作業量を大幅に削減する。
したがって、グローバルバッチサイズが同一であっても、より小さなミニバッチを別々に処理するのではなく、大きなミニバッチを単一のプロセッサとして動作させるための高速インターコネクトを備えたプロセッサが望ましい。
また, 連続したミニバッチを生成することで, 連続実行において同じ現象を利用する方法を示す。
実験により, モデル収束を損なうことなく, この依存性を増大させることにより, 頂点埋め込みの帯域幅を最大4倍に抑えることができた。
提案手法を組み合わせることで,単一ノードマルチGPUシステム上でのIndependent Minibatchよりも最大64%の高速化を実現した。
関連論文リスト
- Distributed Matrix-Based Sampling for Graph Neural Network Training [0.0]
本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。
入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。
新しいサンプリング法に加えて,分散GNNトレーニングにおける特徴抽出の現在の手法よりも,単純なオール・ツー・オール交換で特徴データを任意に複製できることが示される。
論文 参考訳(メタデータ) (2023-11-06T06:40:43Z) - Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - Partitioning Distributed Compute Jobs with Reinforcement Learning and
Graph Neural Networks [58.720142291102135]
大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。
これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。
スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
論文 参考訳(メタデータ) (2023-01-31T17:41:07Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Data Subsampling for Bayesian Neural Networks [0.0]
ペナルティベイズニューラルネットワーク(PBNN)は、与えられたミニバッチサイズに対して優れた予測性能を達成する。
ミニバッチのサイズを変えることで、予測分布の自然なキャリブレーションが可能になる。
PBNNは、複数の分散デバイスにデータセットを分散する場合に特に適していると考えています。
論文 参考訳(メタデータ) (2022-10-17T14:43:35Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳(メタデータ) (2021-10-16T02:41:35Z) - Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。
効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。
本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-05T22:06:23Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Anytime MiniBatch: Exploiting Stragglers in Online Distributed
Optimization [16.361894089347278]
我々はAnytime Minibatchと呼ばれるオンライン分散最適化手法を提案する。
すべてのノードには、可能な限り多くのデータサンプルの勾配を計算するための固定時間がある。
私たちのアプローチはAmazon EC2の1.5倍高速です。
論文 参考訳(メタデータ) (2020-06-10T09:53:02Z) - Improve SGD Training via Aligning Mini-batches [22.58823484394866]
In-Training Distribution Matching (ITDM) は、ディープニューラルネットワーク(DNN)のトレーニングを改善し、オーバーフィッティングを減らすために提案されている。
具体的には、SGDの各イテレーションにおいて、異なるミニバッチの分布のモーメントを一致させて特徴抽出器を正規化する。
論文 参考訳(メタデータ) (2020-02-23T15:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。