論文の概要: SparsePipe: Parallel Deep Learning for 3D Point Clouds
- arxiv url: http://arxiv.org/abs/2012.13846v1
- Date: Sun, 27 Dec 2020 01:47:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 00:36:10.459607
- Title: SparsePipe: Parallel Deep Learning for 3D Point Clouds
- Title(参考訳): SparsePipe: 3Dポイントクラウドのための並列ディープラーニング
- Authors: Keke Zhai, Pan He, Tania Banerjee, Anand Rangarajan, and Sanjay Ranka
- Abstract要約: SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートする。
入力データを複数のプロセッサに分割するバッチ内並列処理を利用する。
我々は、SparsePipeが効果的に並列化でき、現在のクラウドベンチマークでより良いパフォーマンスを得ることができることを示す。
- 参考スコア(独自算出の注目度): 7.181267620981419
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose SparsePipe, an efficient and asynchronous parallelism approach for
handling 3D point clouds with multi-GPU training. SparsePipe is built to
support 3D sparse data such as point clouds. It achieves this by adopting
generalized convolutions with sparse tensor representation to build expressive
high-dimensional convolutional neural networks. Compared to dense solutions,
the new models can efficiently process irregular point clouds without densely
sliding over the entire space, significantly reducing the memory requirements
and allowing higher resolutions of the underlying 3D volumes for better
performance.
SparsePipe exploits intra-batch parallelism that partitions input data into
multiple processors and further improves the training throughput with
inter-batch pipelining to overlap communication and computing. Besides, it
suitably partitions the model when the GPUs are heterogeneous such that the
computing is load-balanced with reduced communication overhead.
Using experimental results on an eight-GPU platform, we show that SparsePipe
can parallelize effectively and obtain better performance on current point
cloud benchmarks for both training and inference, compared to its dense
solutions.
- Abstract(参考訳): SparsePipeは,マルチGPUトレーニングによる3Dポイントクラウド処理のための,効率的かつ非同期な並列処理手法である。
SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートするために構築されている。
これは、表現力のある高次元畳み込みニューラルネットワークを構築するために、スパーステンソル表現の一般化畳み込みを採用することで実現される。
密度の高いソリューションと比較して、新しいモデルは不規則な点雲を、空間全体を密にすべることなく効率的に処理することができ、メモリ要件を大幅に削減し、基礎となる3dボリュームの解像度を高め、パフォーマンスを向上させることができる。
sparsepipeは、入力データを複数のプロセッサに分割するバッチ内並列処理を利用して、バッチ間パイプラインによるトレーニングスループットを改善し、通信とコンピューティングを重複させる。
さらに、gpuが異種である場合のモデルを適切に分割するので、計算の負荷バランスと通信オーバーヘッドの低減が図れる。
8GPUプラットフォーム上での実験結果から,SparsePipeは高密度ソリューションと比較して,トレーニングと推論の両方において,現在のポイントクラウドベンチマークで効率よく並列化し,パフォーマンスを向上させることができることを示す。
関連論文リスト
- Communication-minimizing Asynchronous Tensor Parallelism [1.295259696641579]
本稿では,大規模マルチビリオンパラメータモデルの並列学習において,通信によるアイドル時間を最小化するために,テンソル計算を並列化する新しい3次元アプローチを提案する。
256 A100 GPU上の28Bパラメータでは、CNN3DはMegatron-LMと比較してトレーニング時間を60%近く改善している。
論文 参考訳(メタデータ) (2023-05-22T22:41:49Z) - Using a Waffle Iron for Automotive Point Cloud Semantic Segmentation [66.6890991207065]
スパース3D畳み込みは、ディープニューラルネットワークを構築するためのデファクトツールとなっている。
本稿では,スパース畳み込みを必要とせず,最先端の手法に到達できる方法を提案する。
このような性能のレベルは、大規模かつ高性能な3D知覚に相応しいツールに依存して達成可能であることを示す。
論文 参考訳(メタデータ) (2023-01-24T16:10:08Z) - DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。
本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-01-15T09:31:58Z) - EPCL: Frozen CLIP Transformer is An Efficient Point Cloud Encoder [60.52613206271329]
本稿では,冷凍CLIP変換器を用いて高品質のクラウドモデルをトレーニングするための textbfEfficient textbfPoint textbfCloud textbfLearning (EPCL) を提案する。
我々のEPCLは、2D-3Dデータをペア化せずに画像の特徴と点雲の特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。
論文 参考訳(メタデータ) (2022-12-08T06:27:11Z) - Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。
焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。
スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
論文 参考訳(メタデータ) (2022-04-26T17:34:10Z) - Accelerating GAN training using highly parallel hardware on public cloud [0.3694429692322631]
本研究は,GAN(Geneversarative Adversarial Network)を並列環境でトレーニングする,さまざまなタイプのクラウドサービスについて検討する。
複数のGPUとGoogle Processing Units(TPU)上でのトレーニングプロセスを並列化する。
トレーニングプロセスの線形スピードアップは、物理結果の観点から、ほとんどの性能を保ちながら得られる。
論文 参考訳(メタデータ) (2021-11-08T16:59:15Z) - Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。
我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。
提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
論文 参考訳(メタデータ) (2021-07-18T09:05:16Z) - Learning Semantic Segmentation of Large-Scale Point Clouds with Random
Sampling [52.464516118826765]
我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。
我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。
我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
論文 参考訳(メタデータ) (2021-07-06T05:08:34Z) - VolumeNet: A Lightweight Parallel Network for Super-Resolution of
Medical Volumetric Data [20.34783243852236]
並列接続を用いたParallelNetと呼ばれる医療ボリュームデータのSRのための3次元畳み込みニューラルネットワーク(CNN)を提案する。
本稿では,提案手法によりモデルパラメータの数を著しく削減し,高精度な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:53:15Z) - The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs
with Hybrid Parallelism [3.4377970608678314]
大規模3次元畳み込みニューラルネットワークを学習するためのスケーラブルなハイブリッド並列アルゴリズムを提案する。
提案したトレーニングアルゴリズムを,CosmoFlowと3D U-Netの2つの挑戦的な3D CNNを用いて評価した。
論文 参考訳(メタデータ) (2020-07-25T05:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。