論文の概要: An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks

• arxiv url: http://arxiv.org/abs/2501.13986v3
• Date: Thu, 06 Mar 2025 01:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:56:12.095927
• Title: An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks
• Title（参考訳）: O(3)-等変深層ネットワークのための効率的なスパースカーネルジェネレータ
• Authors: Vivek Bharadwaj, Austin Glover, Aydin Buluc, James Demmel,
• Abstract要約: 回転同変グラフニューラルネットワークは、空間深層学習タスクにおける最先端の性能を得る。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高度に構造化されたスパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は,CGテンソル製品用のGPUスパースカーネルジェネレータを導入し,既存のオープンソース実装とクローズドソース実装の大幅な高速化を実現した。
• 参考スコア（独自算出の注目度）: 0.5737287537823071
• License:
• Abstract: Rotation equivariant graph neural networks, i.e., networks designed to guarantee certain geometric relations between their inputs and outputs, yield state-of-the-art performance on spatial deep learning tasks. They exhibit high data efficiency during training and significantly reduced inference time for interatomic potential calculations compared to classical approaches. Key to these models is the Clebsch-Gordon (CG) tensor product, a kernel that contracts two dense feature vectors with a highly structured sparse tensor to produce a dense output vector. The operation, which may be repeated millions of times for typical equivariant models, is a costly and inefficient bottleneck. We introduce a GPU sparse kernel generator for the CG tensor product that provides significant speedup over the best existing open and closed-source implementations. Our implementation achieves high performance by carefully managing GPU shared memory through static analysis at model compile-time, minimizing reads and writes to global memory. We break the tensor product into a series of kernels with operands that fit entirely into registers, enabling us to emit long arithmetic instruction streams that maximize instruction-level parallelism. By fusing the CG tensor product with a subsequent graph convolution, we reduce both intermediate storage and global memory traffic over naive approaches that duplicate input data. We also provide optimized kernels for the gradient of the CG tensor product and a novel identity for the higher partial derivatives required to predict interatomic forces. Our fused kernels offer up to 4.5x speedup for the forward pass and 3x for the backward pass over NVIDIA cuEquivariance, as well as >10x speedup over the widely-used e3nn package. We offer up to 5.3x inference-time speedup for the MACE chemistry foundation model over the original unoptimized version.
• Abstract（参考訳）: 回転同変グラフニューラルネットワーク(英: Rotation equivariant graph neural network)、すなわち、入力と出力の間の幾何的関係を保証するように設計されたネットワークは、空間的な深層学習タスクにおける最先端のパフォーマンスをもたらす。 彼らは訓練中に高いデータ効率を示し、古典的なアプローチと比較して原子間ポテンシャル計算の推論時間を著しく短縮した。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高度に構造化されたスパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 この操作は、典型的な同変モデルに対して何百万回も繰り返される可能性があるが、コストが高く非効率なボトルネックである。 我々は,CGテンソル製品用のGPUスパースカーネルジェネレータを導入し,既存のオープンソース実装とクローズドソース実装の大幅な高速化を実現した。 本実装は,モデルコンパイル時の静的解析によりGPU共有メモリを注意深く管理し,グローバルメモリへの読み書きを最小化することにより,高い性能を実現する。 我々はテンソル積を、レジスタに完全に適合するオペランドを持つ一連のカーネルに分割し、命令レベルの並列性を最大化する長い演算命令ストリームを出力する。 CGテンソル積をその後のグラフ畳み込みと融合させることで、入力データを重複させる単純なアプローチよりも中間記憶量とグローバルメモリトラフィックを削減できる。 また、CGテンソル積の勾配に最適化されたカーネルと、原子間力の予測に必要な高次偏微分に新しいアイデンティティを提供する。 我々の融合カーネルは、転送パスの4.5倍のスピードアップとNVIDIA cuEquivarianceの後方パスの3倍のスピードアップと、広く使用されているe3nnパッケージの10倍のスピードアップを提供します。 我々は、元の最適化されていないバージョンに対して、MACE化学基盤モデルに対して最大5.3倍の推論時間速度を提供する。

関連論文リスト

• 3DGS$^2$: Near Second-order Converging 3D Gaussian Splatting [26.94968605302451]
  3D Gaussian Splatting (3DGS)は、新しいビュー合成と3D再構成の主流のソリューションとして登場した。 本稿では,3DGSの2次収束学習アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-22T22:28:11Z)
• Tensor-GaLore: Memory-Efficient Training via Gradient Tensor Decomposition [93.98343072306619]
  本研究では,高次テンソル重み付きニューラルネットワークの効率的なトレーニング手法であるNavier-GaLoreを提案する。 様々なPDEタスクの中で、Navier-GaLoreはメモリ節約を実現し、最大75%のメモリ使用量を削減している。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• PowerFusion: A Tensor Compiler with Explicit Data Movement Description and Instruction-level Graph IR [10.059491353103526]
  本稿では,メモリ集約演算子のための高性能コードを生成するテンソルコンパイラであるIntelliGenを提案する。 IntelliGenは計算とデータ移動の最適化の両方を考慮する。 NVIDIA GPU、AMD GPU、Cambricon MLU上でIntelliGenを評価し、平均で1.97x、2.93x、16.91x(1.28x、1.23x、2.31x)までスピードアップした。
  論文  参考訳（メタデータ） (2023-07-11T03:17:40Z)
• Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
  本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。 TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。 その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T12:03:03Z)
• oneDNN Graph Compiler: A Hybrid Approach for High-Performance Deep Learning Compilation [8.64220475114214]
  oneDNN Graph Compilerは、コンパイラ最適化とエキスパートチューニングされたカーネルの両方のテクニックをハイパフォーマンスコード生成に使用するためのハイブリッドアプローチを採用している。 実験結果から,既存のテンソルコンパイラやプリミティブライブラリよりも高い性能を示した。
  論文  参考訳（メタデータ） (2023-01-03T19:52:17Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• The CoRa Tensor Compiler: Compilation for Ragged Tensors with Minimal Padding [14.635810503599759]
  CoRaはテンソルコンパイラで、ユーザはタグ付きテンソル演算子の効率的なコードを簡単に生成できる。 我々は,ラッジテンソル上での各種演算子およびトランスモデルのエンコーダ層上でのCoRaの評価を行った。
  論文  参考訳（メタデータ） (2021-10-19T19:39:04Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。