論文の概要: KernelMosaic: An Open Dataset and Agentic Framework for CUDA Kernel Generation
- arxiv url: http://arxiv.org/abs/2611.14604v1
- Date: Tue, 10 Nov 2026 17:45:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.927644
- Title: KernelMosaic: An Open Dataset and Agentic Framework for CUDA Kernel Generation
- Title(参考訳): KernelMosaic:CUDAカーネル生成のためのオープンデータセットとエージェントフレームワーク
- Abstract要約: KernelMosaicは、さまざまなタスクを検証されたソリューションとトラジェクトリでペアリングするオープンデータセットである。
ヒューマンガイドによるレビューと多様性を意識した選択は、自然言語の記述、参照プログラム、数学的仕様、およびそれらの交点として表されるタスクをキュレートする。
- 参考スコア(独自算出の注目度): 5.322452212642358
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Training large language models to generate efficient CUDA kernels requires supervision spanning diverse computational requirements and iterative code optimization. Constructing this supervision is challenging because of heterogeneous specifications, and useful implementations emerge through iterative complicated testing and refinement. We introduce KernelMosaic, an open dataset pairing diverse CUDA tasks with verified solutions and trajectories. Human-guided review and diversity-aware selection curate tasks expressed as natural-language descriptions, reference programs, mathematical specifications, and their intersections. To build the solutions and trajectories, our agentic framework guides a strong LLM through implementation, correctness repair, and performance optimization with reusable CUDA guidance and execution feedback. Supervised fine-tuning of a small open-source model on KernelMosaic raises correctness from 4%, 0%, and 0% to 88%, 82%, and 16% on KernelBench L1, L2, and L3, respectively, while increasing the fraction of tasks with kernels faster than PyTorch eager at every level. Further training experiments show that supervision from the curated trajectories substantially outperforms direct responses and promotes sustained testing and revision. These results demonstrate that KernelMosaic enables a general-purpose model to achieve substantial gains in CUDA kernel generation.
- Abstract(参考訳): 効率的なCUDAカーネルを生成するために、大規模言語モデルをトレーニングするには、様々な計算要件と反復的なコード最適化にまたがる監督が必要である。
この監視の構築は、異種仕様のため困難であり、反復的な複雑なテストと改善を通じて有用な実装が現れる。
KernelMosaicは、様々なCUDAタスクを検証されたソリューションとトラジェクトリでペアリングするオープンデータセットである。
ヒューマンガイドによるレビューと多様性を意識した選択は、自然言語の記述、参照プログラム、数学的仕様、およびそれらの交点として表されるタスクをキュレートする。
ソリューションとトラジェクトリを構築するために,我々のエージェントフレームワークは,実装,正当性修復,再利用可能なCUDAガイダンスと実行フィードバックによるパフォーマンス最適化を通じて,強力なLCMを導出する。
KernelMosaicの小さなオープンソースモデルの微調整によって、各レベルにおいてPyTorchよりも高速なタスク数を増やしながら、正しさを4%、0%、0%から88%、82%、L1、L2、L3の16%に向上させる。
さらなる訓練実験では、硬化した軌道からの監督が直接反応を著しく上回り、持続的な試験と修正を促進することが示されている。
これらの結果から,KernelMosaicはCUDAカーネル生成において,汎用的なモデルを実現することができることがわかった。
関連論文リスト
- CUDA-Harness: Harnessing Agentic CUDA Kernel Generation and Optimization from Natural Language [12.536212788514815]
Text2CUDAは、自然言語(Text2CUDA)から直接カーネルを生成する。
LLM(Large Language Models)は、LLMベースのカーネル生成を探求する一連の研究を促進する。
本稿では,自然言語からエージェント型カーネルレベルの最適化を実現するフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-30T13:51:43Z) - GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。
限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。
実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
論文 参考訳(メタデータ) (2026-05-29T15:56:08Z) - CUDAHercules: Benchmarking Hardware-Aware Expert-level CUDA Optimization for LLMs [45.52512820646709]
我々は、エンドツーエンドの人間-専門家SOTAシステムに対して生成されたベンチマークであるHerculesを紹介する。
自動化プログラミングは完全な解決には程遠いものであり、より強力なハードウェア推論、より良いツール使用、トレーニング目標が必要です。
論文 参考訳(メタデータ) (2026-05-08T20:35:27Z) - CuBridge: An LLM-Based Framework for Understanding and Reconstructing High-Performance Attention Kernels [36.66718851543183]
CuBridgeは、構造化リフト-トランスファー-ローワーワークフローを通じて専門家が書いた注目カーネルに適応するフレームワークである。
CuBridgeは一貫して正しいカーネルを生成し、一般的なフレームワーク、コンパイラベースのアプローチ、および以前のLCMベースのメソッドよりも大幅に優れている。
論文 参考訳(メタデータ) (2026-05-06T15:19:07Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳(メタデータ) (2026-02-27T18:58:05Z) - KernelBlaster: Continual Cross-Task CUDA Optimization via Memory-Augmented In-Context Reinforcement Learning [3.4998382481249286]
我々は、テストハーネス、検証コンポーネント、再現可能な評価を伴って、オープンソースのエージェントフレームワークとしてKernelBlasterをリリースした。
提案手法は, KernelBench Levels 1, 2, 3 の平均速度をそれぞれ 1.43x, 2.50x, 1.50x とする。
論文 参考訳(メタデータ) (2026-02-15T19:48:43Z) - EvoEngineer: Mastering Automated CUDA Kernel Code Evolution with Large Language Models [27.430839306140157]
カーネル最適化を自動化するLarge Language Models (LLMs) が約束する。
汎用LLMコード進化法は、カーネル最適化の厳密な正当性要件を満たすことができない。
EvoEngineerは、パフォーマンスと正確性のバランスを達成するために最適化戦略を設計し、適応するためのガイダンスを提供する。
提案手法は,PyTorchカーネル上のすべての操作のうち,最大速度のtextbf36.75$times を実現し,textbf28 (textbf56.0%) で最大速度の textbf2times$Acceleration を実現する。
論文 参考訳(メタデータ) (2025-10-04T10:00:25Z) - Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization [25.135006275638172]
本稿では,カーネル性能の厳密な評価と,さまざまなシナリオにおける正当性評価のための新しいベンチマークである,ロバスト・クベンチを紹介する。
また、トーチコードをカーネルに変換し、ランタイム設定を反復的に改善する包括的なエージェントフレームワークを提案する。
提案手法は,フォワードパスやバックパスを含む,実用アプリケーションのためのトーチ実装よりも優れたカーネルを生成する。
論文 参考訳(メタデータ) (2025-09-16T11:08:30Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-25T05:04:44Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳(メタデータ) (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。