論文の概要: KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
- arxiv url: http://arxiv.org/abs/2609.30059v1
- Date: Thu, 24 Sep 2026 16:17:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.09862
- Title: KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
- Title（参考訳）: KernelOPT:GPUカーネル最適化のためのディスパッチ対応エージェント検索
- Abstract要約: KernelOPTは、コンパイルされたモデルを構造化されたアーティファクトとして扱うマルチエージェントシステムである。
ベンダーのライブラリコール(cuBLAS、cuDNN)を保存し、Tritonサブカーネルをターゲットとする。
textttorch.compile of 1.40$times$ (Level 1: 51/100), 1.15$times$ (Level 2: 31/100), 1.07$times$ (Level 3: 12/50)の幾何学的平均スピードアップを実現する。
- 参考スコア（独自算出の注目度）: 2.0524609401792397
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning inference and training performance depends critically on GPU kernel efficiency. Modern compilers such as PyTorch Inductor automatically generate GPU kernels from high-level model code, but frequently underperform expert-written implementations by wide margins. Recent LLM-assisted kernel optimizers can close this gap for standalone kernels, yet treat compiled models as black boxes, generally optimizing individual standalone kernels without respecting the compiler's structural decisions or verifying the model end-to-end. We present KernelOPT, a multi-agent system that treats compiled models as structured artifacts. It preserves vendor library calls (cuBLAS, cuDNN) and exclusively targets generated Triton sub-kernels using five profiling-guided LLM agents. A four-gate verification cascade of static validation, multi-seed correctness, model-level float64-fallback verification, and performance gating filters candidates during optimization and verifies the re-stitched model end-to-end. If no candidate passes all four gates, the system preserves the compiler baseline. The system accepts PyTorch nn.Modules, standalone Triton kernels, and Helion kernels. Evaluated on 250 KernelBench problems, KernelOPT achieves geometric mean speedups over \texttt{torch.compile} of 1.40$\times$ (Level 1: 51/100), 1.15$\times$ (Level 2: 31/100), and 1.07$\times$ (Level 3: 12/50) across all problems.
- Abstract（参考訳）: ディープラーニングの推論とトレーニングのパフォーマンスは、GPUカーネルの効率に大きく依存する。
PyTorch Inductorのような現代のコンパイラは、ハイレベルなモデルコードからGPUカーネルを自動的に生成するが、専門家による実装では大きなマージンで性能が劣ることが多い。
最近のLLM支援カーネルオプティマイザは、スタンドアロンカーネルのギャップを埋めることができるが、コンパイルされたモデルをブラックボックスとして扱い、一般に、コンパイラの構造決定を尊重したり、エンドツーエンドのモデルを検証することなく、個々のスタンドアロンカーネルを最適化する。
本稿では,コンパイルされたモデルを構造化アーティファクトとして扱うマルチエージェントシステムであるKernelOPTを提案する。
ベンダーのライブラリコール(cuBLAS、cuDNN)を保存し、5つのプロファイリング誘導LDMエージェントを使用して生成されるTritonサブカーネルのみをターゲットとする。
静的なバリデーション、マルチシードの正確性、モデルレベルのfloat64フォールバック検証、および最適化中の性能ゲーティングフィルタの候補を検証し、再試行されたモデルのエンドツーエンドを検証する4つのゲート検証カスケード。
候補が4つのゲートを全て通過しない場合、システムはコンパイラのベースラインを保存する。
このシステムはPyTorch nn.Modules、スタンドアロンのTritonカーネル、およびHelionカーネルを受け入れる。
KernelOPTは250のKernelBench問題に基づいて、1.40$\times$ (Level 1: 51/100), 1.15$\times$ (Level 2: 31/100), 1.07$\times$ (Level 3: 12/50)の幾何平均スピードアップを達成する。
関連論文リスト
- KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch? [13.026983194416168]
大きな言語モデル(LLM)は、KernelBenchのようなベンチマークでPyTorchを上回っているように見えるカスタムカーネルを生成することができる。
We demonstrate that frontier models often involved in reward hacking to artificially inflate performance。
論文 参考訳（メタデータ） (2026-06-26T03:22:50Z) - Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels [2.833957521086226]
機械学習カーネルの最適化は、レイテンシとコストを削減する最も直接的な方法の1つです。
我々は、修正されていないPyTorchモデルを受け入れるオープンソースのエージェントハーネスであるKernel Forgeを紹介する。
GB10 GPUのNVIDIA DGX Spark上で、視覚、拡散、LLMにまたがる4つのPyTorchモデルでこれを評価した。
論文 参考訳（メタデータ） (2026-06-02T14:16:58Z) - GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。
限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。
実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
論文 参考訳（メタデータ） (2026-05-29T15:56:08Z) - AutoKernel: Autonomous GPU Kernel Optimization via Iterative Agent-Driven Search [0.0]
Auto Kernelは、任意のPyTorchモデルのGPUカーネル最適化に自律エージェントループを適用するフレームワークである。
システムには、9000行以上のPythonと、2つのバックエンドにまたがる18のスターターカーネル実装、6層最適化プレイブック、KernelBenchベンチマークスイートとの統合が含まれている。
NVIDIA H100では、テストされたプレイブックの大部分で、私たちのTritonカーネルがPyTorchとTorch.compile(max-autotune)の両方を上回っています。
論文 参考訳（メタデータ） (2026-03-22T17:15:28Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs [5.25288153386589]
大規模な言語モデル手法では、カーネルのコンパイルと実行を安価にチューニングできると仮定する。
完全なアプリケーションを構築することなくカーネルを最適化する性能フィードバックを備えたエンドツーエンドのLLMフレームワークを提案する。
このフレームワークは自動エラー修正とパフォーマンスパターン継承を統合し、欠陥を修正し、正確性を保ち、効果的なタイリング/メモリ/同期戦略を再利用し、検索コストを削減する。
論文 参考訳（メタデータ） (2025-12-15T07:20:15Z) - CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization [36.794824560677064]
CudaForgeは、カーネル生成と最適化のためのトレーニング不要なマルチエージェントワークフローである。
OpenAI-o3のようなベースモデルを活用することで、CudaForgeは97.6%の正しさと平均1.68$times$スピードアップを達成した。
論文 参考訳（メタデータ） (2025-10-23T22:52:00Z) - CrashFixer: A crash resolution agent for the Linux kernel [58.152358195983155]
この作業は、システムレベルのLinuxカーネルバグのベンチマークと、Linuxカーネルで実験を実行するプラットフォームを共有するkGymの上に構築されている。
CrashFixerはLinuxカーネルのバグに適応する最初のLCMベースのソフトウェア修復エージェントである。
論文 参考訳（メタデータ） (2025-04-29T04:18:51Z) - Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent [48.791943145735]
カーネルの品質を向上しながら,Ansorの検索時間を短縮する可能性を示す。
このアプローチを、Ansorが生成した最初の300のカーネルに適用する。
この結果は20の有名なディープラーニングモデルで再現されている。
論文 参考訳（メタデータ） (2024-06-28T16:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。