論文の概要: KernelZero: Co-Evolving Proposer and Coder for Continuously Improved GPU Kernel Generation
- arxiv url: http://arxiv.org/abs/2609.33074v1
- Date: Sun, 27 Sep 2026 01:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:47:18.691257
- Title: KernelZero: Co-Evolving Proposer and Coder for Continuously Improved GPU Kernel Generation
- Title（参考訳）: KernelZero: 継続的改善されたGPUカーネル生成のためのプロポーラとコーダの共進化
- Abstract要約: KernelZeroは、2つの特別なモデルを通じてカーネル生成を継続的に改善する共進化フレームワークである。
Coderの現在の弱点に基づいて、機能に整合したトレーニングモジュールを生成する。
さらに、CAGRPO(Correctness-Aware Group Policy Optimization)を導入している。
- 参考スコア（独自算出の注目度）: 25.812477470878594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-performance GPU kernels are essential to modern machine learning systems, yet automatically generating kernels that are both correct and efficient remains challenging. Existing LLM-based approaches face two major limitations: the scarcity of high-quality training data aligned with the model's current capabilities, and the inherent trade-off between kernel correctness and performance. To address these challenges, we propose KernelZero, a co-evolution framework that continuously improves GPU kernel generation through two specialized models: a Proposer that generates Torch modules from API sets and a Coder that translates them into CUDA or Triton kernels. KernelZero uses a frontier-driven module generation mechanism to continuously produce capability-aligned training modules based on the Coder's current weaknesses. It further introduces Correctness-Aware Group Relative Policy Optimization (CA-GRPO), which optimizes performance only after correctness becomes sufficiently reliable. By alternating the optimization of the Proposer and Coder, KernelZero forms an automatic curriculum that enables targeted and training-efficient capability improvement. Empirically, KernelZero-7B surpasses Claude-4.5-Sonnet on CUDA and DeepSeek-V4-Pro on Triton. On KernelBench Level 1 and 2, it achieves CUDA pass@1 scores of 75.8% and 69.6%, respectively, with pass@10 reaching 100% and 97%. On Triton, it achieves pass@1 scores of 77.2% and 72.5%, respectively.
- Abstract（参考訳）: 高性能GPUカーネルは現代の機械学習システムには不可欠だが、正確かつ効率的なカーネルを自動的に生成することは困難である。
既存のLLMベースのアプローチでは、モデルの現在の能力に合わせた高品質なトレーニングデータの不足と、カーネルの正しさとパフォーマンスのトレードオフという、2つの大きな制限に直面している。
これらの課題に対処するために,KernelZeroを提案する。これはGPUカーネル生成を,APIセットからTorchモジュールを生成するProposerと,CUDAあるいはTritonカーネルに変換するCoderという,2つの特殊なモデルを通じて継続的に改善する,共進化フレームワークである。
KernelZeroは、フロンティア駆動のモジュール生成メカニズムを使用して、Coderの現在の弱点に基づいて、継続的に機能に整合したトレーニングモジュールを生成する。
さらにCA-GRPO(Correctness-Aware Group Relative Policy Optimization)を導入し、正確性が十分に信頼された後にのみ性能を最適化する。
ProposerとCoderの最適化を交互に行うことで、KernelZeroはターゲットとトレーニング効率の改善を可能にする自動カリキュラムを形成する。
KernelZero-7BはCUDAでClaude-4.5-Sonnet、TritonでDeepSeek-V4-Proを上回った。
KernelBench Level 1 と 2 では、CUDA pass@1 スコアはそれぞれ 75.8% と 69.6% を獲得し、pass@10 は 100% と 97% に達した。
トリトンでは、それぞれ77.2%と72.5%のパス@1スコアを獲得している。
関連論文リスト
- Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization [48.656549870801285]
Kernel-Smithは高性能GPUカーネルと演算子生成のためのフレームワークである。
エージェント側では、Kernel-Smithは実行可能な候補の集団を維持し、反復的にそれらを改善している。
トレーニング側では、長距離進化軌道をステップ中心の監視と強化学習信号に変換する。
論文 参考訳（メタデータ） (2026-03-30T12:12:49Z) - Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis [68.7701048879757]
EvoKernelは、カーネル合成のライフサイクルを自動化する自己進化型エージェントフレームワークである。
ステージ固有のQ値を学び、現在の目標への貢献に基づいて経験を優先する。
モデルの正しさを11.0%から83.0%に改善し、初期ドラフトよりも3.60倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-03-11T14:57:06Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - Fine-Tuning GPT-5 for GPU Kernel Generation [5.109141377873154]
本稿では,フロンティアモデルの強化学習のための環境とツールについて述べる。
単一触覚設定では、微調整されたモデルにより、カーネルの正しさが43.7%から77.0%に向上する。
完全なコーディングエージェントに統合されると、拡張されたKernelBenchスイートで97.4%の問題を解決することができる。
論文 参考訳（メタデータ） (2026-02-11T16:22:54Z) - Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations [32.98036846113632]
カーネル生成のための強化学習(RL)について検討する。
そこで我々は,不偏利推定を行うために,ターンレベル強化-Leave-One-Out (TRLOO)を提案する。
本稿では、プロファイリングに基づくリワード(PR)とプロファイリングに基づくリジェクションサンプリング(PRS)を導入し、この問題を克服する。
論文 参考訳（メタデータ） (2026-02-05T17:01:09Z) - CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization [36.794824560677064]
CudaForgeは、カーネル生成と最適化のためのトレーニング不要なマルチエージェントワークフローである。
OpenAI-o3のようなベースモデルを活用することで、CudaForgeは97.6%の正しさと平均1.68$times$スピードアップを達成した。
論文 参考訳（メタデータ） (2025-10-23T22:52:00Z) - EvoEngineer: Mastering Automated CUDA Kernel Code Evolution with Large Language Models [27.430839306140157]
カーネル最適化を自動化するLarge Language Models (LLMs) が約束する。
汎用LLMコード進化法は、カーネル最適化の厳密な正当性要件を満たすことができない。
EvoEngineerは、パフォーマンスと正確性のバランスを達成するために最適化戦略を設計し、適応するためのガイダンスを提供する。
提案手法は,PyTorchカーネル上のすべての操作のうち,最大速度のtextbf36.75$times を実現し,textbf28 (textbf56.0%) で最大速度の textbf2times$Acceleration を実現する。
論文 参考訳（メタデータ） (2025-10-04T10:00:25Z) - Efficient Convex Algorithms for Universal Kernel Learning [46.573275307034336]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-15T04:57:37Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳（メタデータ） (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。