論文の概要: Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization

• arxiv url: http://arxiv.org/abs/2606.26453v1
• Date: Wed, 24 Jun 2026 23:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.111639
• Title: Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization
• Title（参考訳）: CUDAを人間のように最適化する: LLMベースのGPUカーネル最適化のためのエキスパートサロゲートとしてのマイクロプロファイリングツール
• Abstract要約: KernelProはクローズドループのマルチエージェントシステムで、カーネルコードを自動生成、プロファイル、反復的に最適化する。 KernelProでは、レベル1/2/3の2.42x/4.69x/5.30xの平均スピードアップを実現し、あらゆる難易度で最先端のパフォーマンスを確立する。
• 参考スコア（独自算出の注目度）: 37.645358922637065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present KernelPro, a closed-loop multi-agent system that automatically generates, profiles, and iteratively optimizes GPU kernel code by integrating large language model (LLM) code generation with hardware profiler feedback and pluggable bottleneck detection tools. KernelPro introduces four contributions: (1) a semantic feedback operator that encodes expert heuristics as pluggable micro-profiling tools, transforming raw hardware metrics into actionable natural language guidance; (2) a two-stage tool invocation architecture where roofline-based bottleneck classification filters which specialized analysis tools execute, combining kernel-level (ncu), instruction-level (SASS), and system-level (nsys) profiling; (3) a domain-adapted MCTS with progressive widening, asymmetric branching, log-reward calibration, dead-end pruning, and search memory for cross-iteration learning; and (4) direct CuTe source-level code generation via autonomous code search over the CUTLASS/CuTe codebase. On KernelBench, KernelPro achieves geometric mean speedups of 2.42x/4.69x/5.30x on Levels 1/2/3, establishing state-of-the-art performance across all difficulty levels. On VeOmni's expert-optimized MoE training kernels, KernelPro achieves 1.23x over hand-tuned Triton by generating a from-scratch raw-CUDA+CuTe Hopper WGMMA kernel. Ablation studies demonstrate that each design component independently and significantly improves optimization quality: micro-profiling tools (p < 0.0001 vs raw metrics), MCTS search (26% higher geometric mean vs greedy, p = 0.004), and proactive tool orchestration (23% improvement, p = 0.035). Finally, KernelPro is the first CUDA kernel coding agent to optimize energy efficiency beyond the speed-only focus of prior systems, demonstrating an 11.6% measured energy reduction at matched speed.
• Abstract（参考訳）: 我々は,大規模言語モデル(LLM)コード生成とハードウェアプロファイラフィードバックとプラグ可能なボトルネック検出ツールを統合することにより,GPUカーネルコードの自動生成,プロファイル,反復最適化を行うクローズドループマルチエージェントシステムであるKernelProを提案する。 KernelProは、(1)エキスパートヒューリスティックをプラグイン可能なマイクロプロファイリングツールとしてエンコードし、生のハードウェアメトリクスを動作可能な自然言語ガイダンスに変換するセマンティックフィードバック演算子、(2)カーネルレベル(ncu)、命令レベル(SASS)、システムレベル(nsys)プロファイリングを専門とするルーフラインベースのボトルネック分類フィルタを備えた2段階のツール実行アーキテクチャ、(3)プログレッシブワイド、非対称分岐、ログリワードキャリブレーション、デッドエンドプルーニング、クロスイテレーション学習のためのメモリを備えたドメイン適応MCTS、(4)CUTS/CuTeコードベース上でのコード生成による直接CuTeソースコード生成。 KernelBenchでは、レベル1/2/3の2.42x/4.69x/5.30xの幾何平均スピードアップを実現し、あらゆる難易度で最先端のパフォーマンスを確立する。 VeOmniのエキスパート最適化されたMoEトレーニングカーネルでは、KernelProは生CUDA+CuTeホッパーWGMMAカーネルをスクラッチして手作業で1.23倍のTritonを実現している。 アブレーション研究は、各設計コンポーネントが独立して最適化品質を著しく向上することを示し、マイクロプロファイリングツール(p < 0.0001 vs raw metrics)、MCTSサーチ(26%高い幾何学平均対greedy, p = 0.004)、プロアクティブツールオーケストレーション(23%改善、p = 0.035)である。 最後に、KernelProは、以前のシステムの速度のみの焦点を超えるエネルギー効率を最適化する最初のCUDAカーネルコーディングエージェントであり、一致した速度で11.6%のエネルギー削減を実証した。

関連論文リスト

• KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators [5.703659894138959]
  生産推定は、不均一な加速器の混合をますます狙う。 それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。 我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T23:48:55Z)
• optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
  単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。 LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
  論文  参考訳（メタデータ） (2026-05-19T10:18:12Z)
• Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization [48.656549870801285]
  Kernel-Smithは高性能GPUカーネルと演算子生成のためのフレームワークである。 エージェント側では、Kernel-Smithは実行可能な候補の集団を維持し、反復的にそれらを改善している。 トレーニング側では、長距離進化軌道をステップ中心の監視と強化学習信号に変換する。
  論文  参考訳（メタデータ） (2026-03-30T12:12:49Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• KernelBlaster: Continual Cross-Task CUDA Optimization via Memory-Augmented In-Context Reinforcement Learning [3.4998382481249286]
  我々は、テストハーネス、検証コンポーネント、再現可能な評価を伴って、オープンソースのエージェントフレームワークとしてKernelBlasterをリリースした。 提案手法は, KernelBench Levels 1, 2, 3 の平均速度をそれぞれ 1.43x, 2.50x, 1.50x とする。
  論文  参考訳（メタデータ） (2026-02-15T19:48:43Z)
• CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization [36.794824560677064]
  CudaForgeは、カーネル生成と最適化のためのトレーニング不要なマルチエージェントワークフローである。 OpenAI-o3のようなベースモデルを活用することで、CudaForgeは97.6%の正しさと平均1.68$times$スピードアップを達成した。
  論文  参考訳（メタデータ） (2025-10-23T22:52:00Z)
• EvoEngineer: Mastering Automated CUDA Kernel Code Evolution with Large Language Models [27.430839306140157]
  カーネル最適化を自動化するLarge Language Models (LLMs) が約束する。 汎用LLMコード進化法は、カーネル最適化の厳密な正当性要件を満たすことができない。 EvoEngineerは、パフォーマンスと正確性のバランスを達成するために最適化戦略を設計し、適応するためのガイダンスを提供する。 提案手法は,PyTorchカーネル上のすべての操作のうち,最大速度のtextbf36.75$times を実現し,textbf28 (textbf56.0%) で最大速度の textbf2times$Acceleration を実現する。
  論文  参考訳（メタデータ） (2025-10-04T10:00:25Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。