論文の概要: SparsePipe: Parallel Deep Learning for 3D Point Clouds

• arxiv url: http://arxiv.org/abs/2012.13846v1
• Date: Sun, 27 Dec 2020 01:47:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 00:36:10.459607
• Title: SparsePipe: Parallel Deep Learning for 3D Point Clouds
• Title（参考訳）: SparsePipe: 3Dポイントクラウドのための並列ディープラーニング
• Authors: Keke Zhai, Pan He, Tania Banerjee, Anand Rangarajan, and Sanjay Ranka
• Abstract要約: SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートする。 入力データを複数のプロセッサに分割するバッチ内並列処理を利用する。 我々は、SparsePipeが効果的に並列化でき、現在のクラウドベンチマークでより良いパフォーマンスを得ることができることを示す。
• 参考スコア（独自算出の注目度）: 7.181267620981419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose SparsePipe, an efficient and asynchronous parallelism approach for handling 3D point clouds with multi-GPU training. SparsePipe is built to support 3D sparse data such as point clouds. It achieves this by adopting generalized convolutions with sparse tensor representation to build expressive high-dimensional convolutional neural networks. Compared to dense solutions, the new models can efficiently process irregular point clouds without densely sliding over the entire space, significantly reducing the memory requirements and allowing higher resolutions of the underlying 3D volumes for better performance. SparsePipe exploits intra-batch parallelism that partitions input data into multiple processors and further improves the training throughput with inter-batch pipelining to overlap communication and computing. Besides, it suitably partitions the model when the GPUs are heterogeneous such that the computing is load-balanced with reduced communication overhead. Using experimental results on an eight-GPU platform, we show that SparsePipe can parallelize effectively and obtain better performance on current point cloud benchmarks for both training and inference, compared to its dense solutions.
• Abstract（参考訳）: SparsePipeは,マルチGPUトレーニングによる3Dポイントクラウド処理のための,効率的かつ非同期な並列処理手法である。 SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートするために構築されている。 これは、表現力のある高次元畳み込みニューラルネットワークを構築するために、スパーステンソル表現の一般化畳み込みを採用することで実現される。 密度の高いソリューションと比較して、新しいモデルは不規則な点雲を、空間全体を密にすべることなく効率的に処理することができ、メモリ要件を大幅に削減し、基礎となる3dボリュームの解像度を高め、パフォーマンスを向上させることができる。 sparsepipeは、入力データを複数のプロセッサに分割するバッチ内並列処理を利用して、バッチ間パイプラインによるトレーニングスループットを改善し、通信とコンピューティングを重複させる。 さらに、gpuが異種である場合のモデルを適切に分割するので、計算の負荷バランスと通信オーバーヘッドの低減が図れる。 8GPUプラットフォーム上での実験結果から,SparsePipeは高密度ソリューションと比較して,トレーニングと推論の両方において,現在のポイントクラウドベンチマークで効率よく並列化し,パフォーマンスを向上させることができることを示す。

関連論文リスト

• fVDB: A Deep-Learning Framework for Sparse, Large-Scale, and High-Performance Spatial Intelligence [50.417261057533786]
  fVDBは、大規模な3Dデータのディープラーニングのための新しいフレームワークである。 私たちのフレームワークは、既存のパイプラインとの相互運用性を可能にするPyTorchと完全に統合されています。
  論文  参考訳（メタデータ） (2024-07-01T20:20:33Z)
• Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
  大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。 本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
  論文  参考訳（メタデータ） (2024-05-28T11:59:44Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Using a Waffle Iron for Automotive Point Cloud Semantic Segmentation [66.6890991207065]
  スパース3D畳み込みは、ディープニューラルネットワークを構築するためのデファクトツールとなっている。 本稿では,スパース畳み込みを必要とせず,最先端の手法に到達できる方法を提案する。 このような性能のレベルは、大規模かつ高性能な3D知覚に相応しいツールに依存して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-24T16:10:08Z)
• DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
  本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。 本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-01-15T09:31:58Z)
• EPCL: Frozen CLIP Transformer is An Efficient Point Cloud Encoder [60.52613206271329]
  本稿では,冷凍CLIP変換器を用いて高品質のクラウドモデルをトレーニングするための textbfEfficient textbfPoint textbfCloud textbfLearning (EPCL) を提案する。 我々のEPCLは、2D-3Dデータをペア化せずに画像の特徴と点雲の特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。
  論文  参考訳（メタデータ） (2022-12-08T06:27:11Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• Learning Semantic Segmentation of Large-Scale Point Clouds with Random Sampling [52.464516118826765]
  我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。 我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。 我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
  論文  参考訳（メタデータ） (2021-07-06T05:08:34Z)
• VolumeNet: A Lightweight Parallel Network for Super-Resolution of Medical Volumetric Data [20.34783243852236]
  並列接続を用いたParallelNetと呼ばれる医療ボリュームデータのSRのための3次元畳み込みニューラルネットワーク(CNN)を提案する。 本稿では,提案手法によりモデルパラメータの数を著しく削減し,高精度な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:53:15Z)
• The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism [3.4377970608678314]
  大規模3次元畳み込みニューラルネットワークを学習するためのスケーラブルなハイブリッド並列アルゴリズムを提案する。 提案したトレーニングアルゴリズムを,CosmoFlowと3D U-Netの2つの挑戦的な3D CNNを用いて評価した。
  論文  参考訳（メタデータ） (2020-07-25T05:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。