論文の概要: Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels
- arxiv url: http://arxiv.org/abs/2607.24762v1
- Date: Tue, 02 Jun 2026 14:16:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.04143
- Title: Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels
- Title（参考訳）: Kernel Forge: CUDAカーネルの生成と最適化のためのエージェントハーネス
- Abstract要約: 機械学習カーネルの最適化は、レイテンシとコストを削減する最も直接的な方法の1つです。
我々は、修正されていないPyTorchモデルを受け入れるオープンソースのエージェントハーネスであるKernel Forgeを紹介する。
GB10 GPUのNVIDIA DGX Spark上で、視覚、拡散、LLMにまたがる4つのPyTorchモデルでこれを評価した。
- 参考スコア（独自算出の注目度）: 2.833957521086226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models are increasingly embedded in everyday software, and most of their runtime is spent in a small set of compute kernels such as matrix multiplication, convolution, and normalization. Optimizing these kernels is one of the most direct ways to reduce latency and cost, but it has traditionally required expert engineers to hand-write low-level GPU code. Agentic systems built on large language models (LLMs) can now generate and optimize kernels with far less human effort, yet existing tools are largely evaluated on randomly generated tensors and isolated kernels, emit standalone CUDA code that developers must manually reintegrate, mostly target only LLM PyTorch models, and offer limited support for inspecting and debugging results. We present Kernel Forge, an open-source, end-to-end agentic harness that accepts any unmodified PyTorch model in place. Kernel Forge supports vision, diffusion, and LLM workloads, uses Monte Carlo Tree Search (MCTS) to explore multiple optimization paths rather than a single linear refinement chain, and ships with a graphical user interface for monitoring progress, inspecting candidate kernels, and debugging failures. We evaluate Kernel Forge on four PyTorch models spanning vision, diffusion, and LLM workloads on an NVIDIA DGX Spark with GB10 GPU. With only 50 optimization iterations per kernel, it optimizes 14 kernels to outperform PyTorch eager mode, reaching $1.52\times$ on adaptive\_avgpool2d in ResNet-50, $1.70\times$ on group\_norm in Stable Diffusion 3.5 Medium, $2.83\times$ on softmax in Gemma 4 E2B, and $1.54\times$ on softmax in Qwen 3.5 35B-A3B.
- Abstract（参考訳）: 機械学習モデルは日々のソフトウェアに組み込まれており、ほとんどのランタイムは、行列乗算、畳み込み、正規化などの小さな計算カーネルに費やされている。
これらのカーネルの最適化は、レイテンシとコストを削減する最も直接的な方法の1つだが、従来、専門家エンジニアが低レベルのGPUコードを手書きする必要があった。
大きな言語モデル(LLM)上に構築されたエージェントシステムは、はるかに少ない人間の努力でカーネルを生成、最適化することができるが、既存のツールは、ランダムに生成されたテンソルと孤立したカーネルで大きく評価され、開発者が手動で再統合する必要があるスタンドアロンのCUDAコードを出力し、主にLLM PyTorchモデルのみをターゲットにし、検査とデバッグ結果の限定的なサポートを提供する。
我々は、未修正のPyTorchモデルを受け入れるオープンソースのエンドツーエンドのエージェントハーネスであるKernel Forgeを紹介します。
Kernel Forgeは、ビジョン、拡散、LLMワークロードをサポートし、MCTS(Monte Carlo Tree Search)を使用して、単一のリニアリファインメントチェーンではなく、複数の最適化パスを探索し、進捗の監視、候補カーネルの検査、障害のデバッグのためのグラフィカルなユーザインターフェースを備える。
我々は、4つのPyTorchモデル上でKernel Forgeを評価し、GB10 GPUのNVIDIA DGX Spark上で視覚、拡散、LLMワークロードを対象とする。
カーネル毎に50回しか最適化されていないため、14のカーネルを最適化してPyTorchのアダプティブモードを上回り、ResNet-50のAdaptive\_avgpool2dで1.52\times$、Stable Diffusion 3.5 Mediumで1.70\times$、Gemma 4 E2Bで2.83\times$、Qwen 3.535B-A3Bで1.54\times$に到達した。
関連論文リスト
- KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch? [13.026983194416168]
大きな言語モデル(LLM)は、KernelBenchのようなベンチマークでPyTorchを上回っているように見えるカスタムカーネルを生成することができる。
We demonstrate that frontier models often involved in reward hacking to artificially inflate performance。
論文 参考訳（メタデータ） (2026-06-26T03:22:50Z) - Optimizing CUDA like a Human: Micro-Profiling Tools as Expert Surrogates for LLM-Based GPU Kernel Optimization [37.645358922637065]
KernelProはクローズドループのマルチエージェントシステムで、カーネルコードを自動生成、プロファイル、反復的に最適化する。
KernelProでは、レベル1/2/3の2.42x/4.69x/5.30xの平均スピードアップを実現し、あらゆる難易度で最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2026-06-24T23:28:09Z) - KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators [5.703659894138959]
生産推定は、不均一な加速器の混合をますます狙う。
それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。
我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
論文 参考訳（メタデータ） (2026-06-01T23:48:55Z) - GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。
限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。
実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
論文 参考訳（メタデータ） (2026-05-29T15:56:08Z) - Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization [48.656549870801285]
Kernel-Smithは高性能GPUカーネルと演算子生成のためのフレームワークである。
エージェント側では、Kernel-Smithは実行可能な候補の集団を維持し、反復的にそれらを改善している。
トレーニング側では、長距離進化軌道をステップ中心の監視と強化学習信号に変換する。
論文 参考訳（メタデータ） (2026-03-30T12:12:49Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs [5.25288153386589]
大規模な言語モデル手法では、カーネルのコンパイルと実行を安価にチューニングできると仮定する。
完全なアプリケーションを構築することなくカーネルを最適化する性能フィードバックを備えたエンドツーエンドのLLMフレームワークを提案する。
このフレームワークは自動エラー修正とパフォーマンスパターン継承を統合し、欠陥を修正し、正確性を保ち、効果的なタイリング/メモリ/同期戦略を再利用し、検索コストを削減する。
論文 参考訳（メタデータ） (2025-12-15T07:20:15Z) - CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization [36.794824560677064]
CudaForgeは、カーネル生成と最適化のためのトレーニング不要なマルチエージェントワークフローである。
OpenAI-o3のようなベースモデルを活用することで、CudaForgeは97.6%の正しさと平均1.68$times$スピードアップを達成した。
論文 参考訳（メタデータ） (2025-10-23T22:52:00Z) - S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。
S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文 参考訳（メタデータ） (2025-02-20T09:18:53Z) - Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent [48.791943145735]
カーネルの品質を向上しながら,Ansorの検索時間を短縮する可能性を示す。
このアプローチを、Ansorが生成した最初の300のカーネルに適用する。
この結果は20の有名なディープラーニングモデルで再現されている。
論文 参考訳（メタデータ） (2024-06-28T16:34:22Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳（メタデータ） (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。