論文の概要: TorchSparse++: Efficient Training and Inference Framework for Sparse Convolution on GPUs

• arxiv url: http://arxiv.org/abs/2311.12862v1
• Date: Wed, 25 Oct 2023 21:02:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 00:20:47.643651
• Title: TorchSparse++: Efficient Training and Inference Framework for Sparse Convolution on GPUs
• Title（参考訳）: TorchSparse++:GPU上のスパース畳み込みのための効率的なトレーニングと推論フレームワーク
• Authors: Haotian Tang, Shang Yang, Zhijian Liu, Ke Hong, Zhongming Yu, Xiuyu Li, Guohao Dai, Yu Wang, Song Han
• Abstract要約: スパース畳み込みは、AR/VRにおけるポイントクラウド処理、自動運転、レコメンデーションシステムにおけるグラフ理解など、新興ワークロードにおいて重要な役割を果たす。 既存のGPUライブラリはスパース畳み込みのための2つのデータフロー型を提供する。 TorchSparse++は、両方の世界のベストを達成するための新しいGPUライブラリです。
• 参考スコア（独自算出の注目度）: 20.4238781638402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse convolution plays a pivotal role in emerging workloads, including point cloud processing in AR/VR, autonomous driving, and graph understanding in recommendation systems. Since the computation pattern is sparse and irregular, specialized high-performance kernels are required. Existing GPU libraries offer two dataflow types for sparse convolution. The gather-GEMM-scatter dataflow is easy to implement but not optimal in performance, while the dataflows with overlapped computation and memory access (e.g.implicit GEMM) are highly performant but have very high engineering costs. In this paper, we introduce TorchSparse++, a new GPU library that achieves the best of both worlds. We create a highly efficient Sparse Kernel Generator that generates performant sparse convolution kernels at less than one-tenth of the engineering cost of the current state-of-the-art system. On top of this, we design the Sparse Autotuner, which extends the design space of existing sparse convolution libraries and searches for the best dataflow configurations for training and inference workloads. Consequently, TorchSparse++ achieves 2.9x, 3.3x, 2.2x and 1.7x measured end-to-end speedup on an NVIDIA A100 GPU over state-of-the-art MinkowskiEngine, SpConv 1.2, TorchSparse and SpConv v2 in inference; and is 1.2-1.3x faster than SpConv v2 in mixed precision training across seven representative autonomous driving benchmarks. It also seamlessly supports graph convolutions, achieving 2.6-7.6x faster inference speed compared with state-of-the-art graph deep learning libraries.
• Abstract（参考訳）: スパース畳み込みは、AR/VRにおけるポイントクラウド処理、自動運転、レコメンデーションシステムにおけるグラフ理解など、新興ワークロードにおいて重要な役割を果たす。 計算パターンはスパースで不規則であるため、特殊な高性能カーネルが必要である。 既存のGPUライブラリはスパース畳み込みのための2つのデータフロー型を提供する。 GEMM-scatterデータフローは実装が容易であるが、性能面では最適ではないが、重なり合う計算とメモリアクセス(GEMMなど)を伴うデータフローは高い性能を持つが、エンジニアリングコストが非常に高い。 本稿では,torchsparse++を紹介する。torchsparse++は,両世界のベストを実現する新しいgpuライブラリである。 我々は、高性能なスパース畳み込みカーネルを生成する高効率なスパースカーネルジェネレータを、現在の最先端システムのエンジニアリングコストの10分の1以下で作成する。 これに加えて、既存のスパース畳み込みライブラリの設計スペースを拡張し、トレーニングと推論のワークロードに最適なデータフロー構成を検索するスパースオートチューニングを設計します。 その結果、TorchSparse++は、最先端のMinkowskiEngine、SpConv 1.2、TorchSparse、SpConv v2に対するNVIDIA A100 GPU上の2.9x、3.3x、2.2x、1.7xのエンドツーエンドのスピードアップを達成した。 グラフ畳み込みもシームレスにサポートし、最先端のグラフディープラーニングライブラリと比較して2.6-7.6倍の高速化を実現している。

関連論文リスト

• High Performance Computing Applied to Logistic Regression: A CPU and GPU Implementation Comparison [0.0]
  汎用GPUによるロジスティック回帰(LR)の並列バージョンを提案する。 我々の実装は、X. Zouらによって提案された並列なグラディエントDescent Logistic Regressionアルゴリズムの直接変換である。 本手法は,画像認識,スパム検出,不正検出などのリアルタイム予測に特に有用である。
  論文  参考訳（メタデータ） (2023-08-19T14:49:37Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• TorchSparse: Efficient Point Cloud Inference Engine [24.541195361633523]
  本稿では,高性能なポイントクラウド推論エンジンであるTorchSparseを紹介する。 TorchSparseはスパース畳み込みの2つのボトルネック、すなわち不規則な計算とデータ移動を直接最適化する。 最先端のMinkowskiEngineとSpConvで、それぞれ1.6倍と1.5倍のエンドツーエンドのスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-04-21T17:58:30Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)
• Sparse GPU Kernels for Deep Learning [24.94153856081836]
  ディープラーニングアプリケーションは、既存のスパースカーネルが密度の高いカーネルを上回るほど、比較的適度なスパーシティを持つ。 ニューラルネットワークに適用可能な2つのスパース行列演算のための高性能GPUカーネルを開発した。 カーネルを用いて、1.2-2.1倍のスピードアップと最大12.8倍のメモリ節約が可能なスパーストランスフォーマーとMobileNetモデルを、精度を犠牲にすることなく示す。
  論文  参考訳（メタデータ） (2020-06-18T23:59:11Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
  ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。 私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。 これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
  論文  参考訳（メタデータ） (2020-04-19T05:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。