論文の概要: Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation

• arxiv url: http://arxiv.org/abs/2607.20908v1
• Date: Thu, 23 Jul 2026 04:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.274349
• Title: Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation
• Title（参考訳）: CUDAカーネル生成のための構造と性能を考慮したマルチターンRL
• Abstract要約: CudaPerfは、検証可能な実行報酬と構造的コード認識報酬の両方を組み込んだ反射的RLフレームワークである。 CudaPerfは、CとPyTorchのプログラムからなる複数のベンチマークで評価される。
• 参考スコア（独自算出の注目度）: 19.42018516826851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful technique to enhance the reasoning capacity of LLMs for optimized code generation. However, existing RLVR approaches primarily rely on outcome-based signals such as correctness and speedup, overlooking performance-critical structural properties of programs that are essential for generating optimized code. In this work, we propose CudaPerf, a reflective RL framework that incorporates both verifiable execution rewards and structural code-aware rewards derived from parallelization features (e.g., memory coalescing, occupancy, Arithmatic Intensity, and synchronization patterns). CudaPerf operates in two stages: (1) an offline pairwise ranking module that learns to distinguish strong and weak program candidates via contrastive comparisons, and (2) an online RL training phase that jointly optimizes for correctness, performance, and structural efficiency through a unified reward signal. To further enhance learning, CudaPerf utilizes iterative refinement using execution feedback enabling progressive improvement of generated candidates. We also introduce a dataset comprising 2.9k C to CUDA and 1k PyTorch to CUDA programs, each paired with diverse input configurations and multiple CUDA implementations encompassing diverse optimization strategies. CudaPerf is evaluated across multiple benchmarks comprising both C to CUDA and PyTorch to CUDA transformations. Empirical findings suggest that CudaPerf significantly outperforms strong baselines, including Qwen-3-32B (for C to CUDA) and CUDA Agent (for PyTorch to CUDA) by achieving up to 5X & 3.32X improvements in speedup, and 17% & 7% improvements in correctness, respectively.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、最適化されたコード生成のためのLLMの推論能力を高める強力な技術として登場した。 しかし、既存のRLVRアプローチは主に、最適化されたコードを生成するのに不可欠なプログラムの性能クリティカルな構造的特性を見越して、正確さやスピードアップのような結果に基づく信号に依存している。 本研究では,並列化機能(例えば,メモリの合体,占有,算数的強度,同期パターン)から得られる,検証可能な実行報酬と構造的コード認識報酬の両方を組み込んだリフレクティブRLフレームワークであるCudaPerfを提案する。 CudaPerfは,(1)強いプログラム候補と弱いプログラム候補をコントラスト比較により区別することを学ぶオフラインのペアワイドランキングモジュール,(2)統一報酬信号による正当性,性能,構造効率を共同で最適化するオンラインRLトレーニングフェーズの2段階で動作する。 学習をさらに強化するため、CudaPerfでは、実行フィードバックを使用して反復的な改善を活用し、生成した候補を段階的に改善する。 また、CUDAプログラムに2.9k Cと1k PyTorchからなるデータセットを導入し、それぞれに多様な入力構成と、多様な最適化戦略を含む複数のCUDA実装を組み合わせる。 CudaPerfは、CからCUDA、PyTorchからCUDAへの変換を含む複数のベンチマークで評価される。 実証的な結果から、CudaPerfはQwen-3-32B(C to CUDA)やCUDA Agent(PyTorch to CUDA)といった強力なベースラインよりも、最大5倍と3.32倍のスピードアップを達成し、それぞれ17%と7%の精度向上を実現している。

関連論文リスト

• CUDA-Harness: Harnessing Agentic CUDA Kernel Generation and Optimization from Natural Language [12.536212788514815]
  Text2CUDAは、自然言語(Text2CUDA)から直接カーネルを生成する。 LLM(Large Language Models)は、LLMベースのカーネル生成を探求する一連の研究を促進する。 本稿では,自然言語からエージェント型カーネルレベルの最適化を実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-30T13:51:43Z)
• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• CUDAHercules: Benchmarking Hardware-Aware Expert-level CUDA Optimization for LLMs [45.52512820646709]
  我々は、エンドツーエンドの人間-専門家SOTAシステムに対して生成されたベンチマークであるHerculesを紹介する。 自動化プログラミングは完全な解決には程遠いものであり、より強力なハードウェア推論、より良いツール使用、トレーニング目標が必要です。
  論文  参考訳（メタデータ） (2026-05-08T20:35:27Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• KernelBlaster: Continual Cross-Task CUDA Optimization via Memory-Augmented In-Context Reinforcement Learning [3.4998382481249286]
  我々は、テストハーネス、検証コンポーネント、再現可能な評価を伴って、オープンソースのエージェントフレームワークとしてKernelBlasterをリリースした。 提案手法は, KernelBench Levels 1, 2, 3 の平均速度をそれぞれ 1.43x, 2.50x, 1.50x とする。
  論文  参考訳（メタデータ） (2026-02-15T19:48:43Z)
• Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization [25.135006275638172]
  本稿では,カーネル性能の厳密な評価と,さまざまなシナリオにおける正当性評価のための新しいベンチマークである,ロバスト・クベンチを紹介する。 また、トーチコードをカーネルに変換し、ランタイム設定を反復的に改善する包括的なエージェントフレームワークを提案する。 提案手法は,フォワードパスやバックパスを含む,実用アプリケーションのためのトーチ実装よりも優れたカーネルを生成する。
  論文  参考訳（メタデータ） (2025-09-16T11:08:30Z)
• CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning [14.142680357918328]
  本稿では,新しい対照的なRLアルゴリズムを用いた最適化のための自動学習フレームワークを提案する。 --L1は最適化タスクで大幅なパフォーマンス改善を実現します。
  論文  参考訳（メタデータ） (2025-07-18T17:43:56Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。