論文の概要: AMDKernelVault: Large-Scale Datasets and Agentic Training for AMD GPU Kernel Optimization
- arxiv url: http://arxiv.org/abs/2609.12471v1
- Date: Fri, 11 Sep 2026 06:14:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.639322
- Title: AMDKernelVault: Large-Scale Datasets and Agentic Training for AMD GPU Kernel Optimization
- Title（参考訳）: AMDKernelVault: AMD GPUカーネル最適化のための大規模データセットとエージェントトレーニング
- Abstract要約: AMD KernelVaultは、最近のAMD CDNA GPUのためのオープンなHIPおよびTritonカーネルコーパスおよびトレーニングフレームワークである。
コーパスには62,153個のHIPカーネルサンプル、2,377個の生産地上のROCmライブラリQAエントリ、39,893個のトリトンカーネルが含まれている。
PyTorch-to-HIP(34.0% Pass@1)、TritonBench-G(33.2% Corr@3)、ROCmBench(41.94% Corr@3)で比較されたモデルの中で最も正確である。
- 参考スコア（独自算出の注目度）: 17.487988107647777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce AMDKernelVault, an open HIP and Triton kernel corpus and training framework for recent AMD CDNA GPUs. Existing LLM-based kernel agents are largely CUDA/NVIDIA-centric and often depend on repeated frontier-LLM calls for generation, reflection, and optimization. To address this gap, we develop HIPKernelGen and TritonKernelGen, agent-driven pipelines that transform PyTorch references into HIP or Triton kernels, compile and validate candidates under ROCm, and latency-profile them on AMD hardware. The corpus contains 62,153 execution-verified HIP kernel samples, 2,377 production-grounded ROCm Libraries QA entries, and 39,893 Triton kernels. We further train Qwen3-8B with supervised fine-tuning and execution-aware reinforcement learning as a demonstration of the corpus's utility. Under fixed evaluation budgets, it achieves the highest correctness among the compared models on PyTorch-to-HIP (34.0% Pass@1), TritonBench-G (33.2% Corr@3), and ROCmBench (41.94% Corr@3), but does not uniformly lead compilation or speed metrics. The corpus and documentation are available at https://huggingface.co/datasets/amd/AIG-Datasets, and the associated training and kernel-generation code is available at https://github.com/AMD-AGI/hip_kernel_llm_lab.
- Abstract（参考訳）: 我々は、最近のAMD CDNA GPUのためのオープンなHIPおよびTritonカーネルコーパスおよびトレーニングフレームワークであるAMDKernelVaultを紹介する。
既存のLLMベースのカーネルエージェントはCUDA/NVIDIA中心であり、多くの場合、生成、リフレクション、最適化のために繰り返し行われるフロンティアLLMコールに依存している。
このギャップに対処するために、エージェント駆動パイプラインであるHIPKernelGenとTritonKernelGenを開発し、PyTorch参照をHIPまたはTritonカーネルに変換し、ROCmの下で候補をコンパイルし検証し、それらをAMDハードウェア上で遅延検出する。
コーパスには62,153個のHIPカーネルサンプル、2,377個の生産地上のROCmライブラリQAエントリ、39,893個のトリトンカーネルが含まれている。
さらに,コーパスユーティリティの実証として,教師付き微調整および実行対応強化学習を用いてQwen3-8Bを訓練する。
PyTorch-to-HIP(34.0% Pass@1)、TritonBench-G(33.2% Corr@3)、ROCmBench(41.94% Corr@3)で比較されたモデルの中で最も正確であるが、コンパイルや速度の指標を均一に導くことはない。
コーパスとドキュメントはhttps://huggingface.co/datasets/amd/AIG-Datasetsで、関連するトレーニングとカーネル生成コードはhttps://github.com/AMD-AGI/hip_kernel_llm_labで入手できる。
関連論文リスト
- KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch? [13.026983194416168]
大きな言語モデル(LLM)は、KernelBenchのようなベンチマークでPyTorchを上回っているように見えるカスタムカーネルを生成することができる。
We demonstrate that frontier models often involved in reward hacking to artificially inflate performance。
論文 参考訳（メタデータ） (2026-06-26T03:22:50Z) - Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization [37.645358922637065]
KernelProはクローズドループのマルチエージェントシステムで、カーネルコードを自動生成、プロファイル、反復的に最適化する。
KernelProでは、レベル1/2/3の2.42x/4.69x/5.30xの平均スピードアップを実現し、あらゆる難易度で最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2026-06-24T23:28:09Z) - Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels [2.833957521086226]
機械学習カーネルの最適化は、レイテンシとコストを削減する最も直接的な方法の1つです。
我々は、修正されていないPyTorchモデルを受け入れるオープンソースのエージェントハーネスであるKernel Forgeを紹介する。
GB10 GPUのNVIDIA DGX Spark上で、視覚、拡散、LLMにまたがる4つのPyTorchモデルでこれを評価した。
論文 参考訳（メタデータ） (2026-06-02T14:16:58Z) - KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators [5.703659894138959]
生産推定は、不均一な加速器の混合をますます狙う。
それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。
我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
論文 参考訳（メタデータ） (2026-06-01T23:48:55Z) - GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。
限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。
実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
論文 参考訳（メタデータ） (2026-05-29T15:56:08Z) - Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization [48.656549870801285]
Kernel-Smithは高性能GPUカーネルと演算子生成のためのフレームワークである。
エージェント側では、Kernel-Smithは実行可能な候補の集団を維持し、反復的にそれらを改善している。
トレーニング側では、長距離進化軌道をステップ中心の監視と強化学習信号に変換する。
論文 参考訳（メタデータ） (2026-03-30T12:12:49Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization [36.794824560677064]
CudaForgeは、カーネル生成と最適化のためのトレーニング不要なマルチエージェントワークフローである。
OpenAI-o3のようなベースモデルを活用することで、CudaForgeは97.6%の正しさと平均1.68$times$スピードアップを達成した。
論文 参考訳（メタデータ） (2025-10-23T22:52:00Z) - Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent [48.791943145735]
カーネルの品質を向上しながら,Ansorの検索時間を短縮する可能性を示す。
このアプローチを、Ansorが生成した最初の300のカーネルに適用する。
この結果は20の有名なディープラーニングモデルで再現されている。
論文 参考訳（メタデータ） (2024-06-28T16:34:22Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳（メタデータ） (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。