論文の概要: Neptune: Advanced ML Operator Fusion for Locality and Parallelism on GPUs

• arxiv url: http://arxiv.org/abs/2510.08726v1
• Date: Thu, 09 Oct 2025 18:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.494998
• Title: Neptune: Advanced ML Operator Fusion for Locality and Parallelism on GPUs
• Title（参考訳）: Neptune:GPU上の局所性と並列性のための高度なML演算子融合
• Authors: Yifan Zhao, Egan Johnson, Prasanth Chatarasi, Vikram Adve, Sasa Misailovic,
• Abstract要約: 本論文では, 減算演算子の列に対する高度な演算子融合のためのテンソルコンパイラであるNeptuneを紹介する。 N Neptuneは、いくつかの既存の依存関係を意図的に破壊する高度な演算子融合のための新しいアプローチを提示している。 10のアテンションベースのベンチマークで、NeptuneはTriton、TVM、FlexAttentionといった既存のコンパイラを上回っている。
• 参考スコア（独自算出の注目度）: 7.912341462809207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operator fusion has become a key optimization for deep learning, which combines multiple deep learning operators to improve data reuse and reduce global memory transfers. However, existing tensor compilers struggle to fuse complex reduction computations involving loop-carried dependencies, such as attention mechanisms. The paper introduces Neptune, a tensor compiler for advanced operator fusion for sequences of reduction operators. Neptune presents a new approach for advanced operator fusion, which intentionally breaks some existing dependencies and compensates by constructing algebraic correction expressions that allow the kernel to produce the correct result. On ten attention-based benchmarks, Neptune, starting from simple attention code and a high-level scheduling template, outperforms existing compilers like Triton, TVM, and FlexAttention, including Triton-based implementations of FlashAttention. Across four different GPU architectures from NVIDIA and AMD, Neptune-generated kernels have average speedup of $1.35\times$ over the next best alternative, demonstrating its effectiveness for deep learning workloads.
• Abstract（参考訳）: 複数のディープラーニング演算子を組み合わせてデータ再利用を改善し、グローバルメモリ転送を減らす。 しかし、既存のテンソルコンパイラは、アテンション機構のようなループ駆動の依存関係を含む複雑な還元計算を解くのに苦労している。 本論文では, 減算演算子の列に対する高度な演算子融合のためのテンソルコンパイラであるNeptuneを紹介する。 Neptuneは、ある既存の依存関係を意図的に破壊し、カーネルが正しい結果を生成することができるような代数的修正式を構築することで補償する、高度な演算子融合のための新しいアプローチを提示している。 10のアテンションベースのベンチマークでは、単純なアテンションコードと高レベルのスケジューリングテンプレートから始められたNeptuneが、Triton、TVM、FlexAttentionといった既存のコンパイラを上回り、TritonベースのFlashAttentionの実装を含んでいる。 NVIDIAとAMDの4つの異なるGPUアーキテクチャの中で、Neptuneが生成するカーネルは、次の選択肢よりも平均で1.35\times$で、ディープラーニングワークロードの有効性を示している。

関連論文リスト

• AutoTriton: Automatic Triton Programming with Reinforcement Learning in LLMs [87.8306870967343]
  我々は、強化学習(RL)を利用したトリトンプログラミングのための最初のモデルであるAutoTritonを紹介する。 AutoTritonは、高品質なデータ収集パイプラインを使用して、本質的なTritonプログラミング専門知識を備えた教師付き微調整(SFT)を実行する。 TritonBenchとKernelBenchの5つの評価チャネルでの実験は、我々の8BモデルAutoTritonがメインストリームの大規模モデルに匹敵するパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-07-08T05:38:24Z)
• TritonBench: Benchmarking Large Language Model Capabilities for Generating Triton Operators [59.625889531331815]
  Tritonは、効率的なGPUカーネルを構築するために設計されたハイレベルなPythonライクな言語である。 従来のコード生成のための大規模言語モデル(LLM)の進歩にもかかわらず、これらのモデルは正確でパフォーマンスに最適化されたトリトンコードを生成するのに苦労している。 本稿では,Triton演算子生成のための総合ベンチマークであるTritonBenchを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T17:21:27Z)
• An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
  回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
  論文  参考訳（メタデータ） (2025-01-23T08:20:47Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
  本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。 TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。 その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T12:03:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。