論文の概要: AI as a Compiler: Compiling Triton kernels without the Triton compiler
- arxiv url: http://arxiv.org/abs/2609.36800v1
- Date: Tue, 29 Sep 2026 06:13:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.228622
- Title: AI as a Compiler: Compiling Triton kernels without the Triton compiler
- Title（参考訳）: コンパイラとしてのAI: TritonコンパイラなしでTritonカーネルをコンパイルする
- Abstract要約: 我々は,TritonからNVIDIA PTXへのAI低下について研究し,LLMエージェントがTritonカーネルを直接PTXに変換する。
Ada、Hopper、Blackwellの12の共通カーネルでAIの低下は0.83x-3.34倍となる。
この結果から,AIコンパイラが独自に記述した中間表現とチェッカーを置き換える,新たな未来が示唆された。
- 参考スコア（独自算出の注目度）: 5.215496118019254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compiler backends are expensive to build and maintain as programming models, workloads, and accelerators evolve. We investigate whether large language models can replace the conventional optimizing and lowering pipeline, a process that we call AI lowering. We study AI lowering from Triton to NVIDIA PTX: an LLM agent translates Triton kernels directly into PTX. We build an environment that evaluates candidate PTX, and an agentic harness in which an LLM translates Triton kernels into PTX. Across twelve common kernels on Ada, Hopper, and Blackwell GPUs and ten kernels from recent ML papers, AI lowering achieves 0.83x-3.34x the performance of autotuned Triton. The largest gains come from transformations that Triton's lowering pipeline does not perform, such as decoding packed binary weights directly into Tensor Core operands (3.34x on BitDelta), assigning each thread a complete softmax row in tensor memory (1.37x on FlashAttention), and reusing overlapping convolution windows (up to 2.23x). These results rely on a robust evaluation harness with comprehensive verification support. We build on Volta, an existing PTX verifier, and substantially extend it to support modern GPU architectures by introducing support for Blackwell's tcgen05 Tensor Core interface. This requires modeling three architectural features: managed tensor memory, descriptor-based operand layouts, and asynchronous execution coordinated through commits, waits, memory barriers, and proxy fences. We discuss the challenges involved in formalizing them, as well as the current limitations. Our results suggest an emerging future in which AI compilers replace custom-written intermediate representations and checkers, reducing the time and engineering effort required to bring up software for new general-purpose and custom chips.
- Abstract（参考訳）: コンパイラバックエンドは、プログラミングモデル、ワークロード、アクセラレータが進化するにつれて、構築とメンテナンスに費用がかかる。
我々は、AIローディングと呼ばれるプロセスである、従来の最適化と低下のパイプラインを、大規模言語モデルで置き換えられるかどうかを調査する。
我々は,TritonからNVIDIA PTXへのAI低下について研究し,LLMエージェントがTritonカーネルを直接PTXに変換する。
我々は,候補PTXを評価する環境と,LLMがTritonカーネルをPTXに変換するエージェントハーネスを構築する。
最近のML論文では、Ada、Hopper、Blackwell GPU上の12の共通カーネルと10のカーネルにまたがって、AIの低下は自動チューニングされたTritonのパフォーマンスの0.83x-3.34倍に達する。
最大のメリットは、Tritonのローディングパイプラインが実行しない変換である。例えば、パッケージ化されたバイナリ重みをTensor Coreオペランド(BitDeltaでは3.34x)に直接デコードし、各スレッドにテンソルメモリ(FlashAttentionでは1.37x)の完全なソフトマックス行を割り当て、重複する畳み込みウィンドウ(最大2.23x)を再利用することである。
これらの結果は、総合的な検証支援を伴う堅牢な評価手法に依存している。
我々は既存のPTX検証ツールであるVolta上に構築し、Blackwellのtcgen05 Tensor Coreインターフェースのサポートを導入して、最新のGPUアーキテクチャをサポートするように大幅に拡張した。
これは、マネージドテンソルメモリ、ディスクリプタベースのオペランドレイアウト、コミット、待機、メモリバリア、プロキシフェンスを通じて協調された非同期実行の3つのアーキテクチャ機能をモデル化する必要がある。
それらを形式化する上での課題と、現在の制限について議論する。
我々の結果は、AIコンパイラがカスタム記述された中間表現とチェッカーを置き換える新たな未来を示唆し、新しい汎用およびカスタムチップ用のソフトウェアを開発するのに必要な時間とエンジニアリングの労力を減らすことを示唆している。
関連論文リスト
- Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU [38.81440160993858]
ディープラーニングアルゴリズムを新しいハードウェアアクセラレータに移植するには、開発者はコードベースのすべてのTritonカーネルに同じ低レベル最適化を適用する必要がある。
我々は、このプロセスをIntel GPU向けに自動化するマルチステージLCM駆動パイプラインであるXe-Forgeを紹介する。
キュレートされた知識ベースは、LLMトレーニングデータにはないIntel GPU制約を符号化し、モデルをアーキテクチャ上有効なバウンダリ内に保持する。
論文 参考訳（メタデータ） (2026-04-16T20:21:01Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - Hexagon-MLIR: An AI Compilation Stack For Qualcomm's Neural Processing Units (NPUs) [3.8043062351078585]
Hexagon-MLIRは、Qualcomm Hexagon Neural Processing Unit (NPU)をターゲットにしたオープンソースのコンパイルスタックである。
トリトンカーネルとPyTorchモデルを下げるための統一的なサポートを提供する。
論文 参考訳（メタデータ） (2026-02-23T12:12:39Z) - Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。
その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。
ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
論文 参考訳（メタデータ） (2025-12-24T00:41:13Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - AutoTriton: Automatic Triton Programming with Reinforcement Learning in LLMs [87.8306870967343]
我々は、強化学習(RL)を利用したトリトンプログラミングのための最初のモデルであるAutoTritonを紹介する。
AutoTritonは、高品質なデータ収集パイプラインを使用して、本質的なTritonプログラミング専門知識を備えた教師付き微調整(SFT)を実行する。
TritonBenchとKernelBenchの5つの評価チャネルでの実験は、我々の8BモデルAutoTritonがメインストリームの大規模モデルに匹敵するパフォーマンスを実現していることを示している。
論文 参考訳（メタデータ） (2025-07-08T05:38:24Z) - ML-Triton, A Multi-Level Compilation and Language Extension to Triton GPU Programming [2.4665562732779773]
Tritonは、より高いレベルでプログラミングによって、よりユーザフレンドリでポータブルな代替手段を提供するDSLです。
マルチレベルのコンパイルフローとプログラミングインタフェースを備えたML-Tritonを提案する。
提案手法は,Intel GPU上でのエキスパート記述カーネルの95%以上の性能を実現する。
論文 参考訳（メタデータ） (2025-03-19T08:31:39Z) - TritonBench: Benchmarking Large Language Model Capabilities for Generating Triton Operators [59.625889531331815]
Tritonは、効率的なGPUカーネルを構築するために設計されたハイレベルなPythonライクな言語である。
従来のコード生成のための大規模言語モデル(LLM)の進歩にもかかわらず、これらのモデルは正確でパフォーマンスに最適化されたトリトンコードを生成するのに苦労している。
本稿では,Triton演算子生成のための総合ベンチマークであるTritonBenchを紹介する。
論文 参考訳（メタデータ） (2025-02-20T17:21:27Z) - ThunderKittens: Simple, Fast, and Adorable AI Kernels [43.32681787348603]
We present ThunderKittens (TK), a framework for write performanceant AI kernels while rest to use and maintain。
我々は、さまざまなAI操作に対して、以前のカーネルと一致するか、より優れているカーネルを提供することで、TKの価値を示す。
論文 参考訳（メタデータ） (2024-10-27T10:07:16Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。