論文の概要: CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2507.14111v6
• Date: Tue, 12 Aug 2025 00:12:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 18:56:18.616239
• Title: CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning
• Title（参考訳）: CUDA-L1: コントラスト強化学習によるCUDA最適化の改善
• Authors: Xiaoya Li, Xiaofei Sun, Albert Wang, Jiwei Li, Chris Shum,
• Abstract要約: 本稿では,新しい対照的なRLアルゴリズムを用いた最適化のための自動学習フレームワークを提案する。 --L1は最適化タスクで大幅なパフォーマンス改善を実現します。
• 参考スコア（独自算出の注目度）: 35.06696271451966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The exponential growth in demand for GPU computing resources has created an urgent need for automated CUDA optimization strategies. While recent advances in LLMs show promise for code generation, current SOTA models achieve low success rates in improving CUDA speed. In this paper, we introduce CUDA-L1, an automated reinforcement learning framework for CUDA optimization that employs a novel contrastive RL algorithm. CUDA-L1 achieves significant performance improvements on the CUDA optimization task: trained on A100, it delivers an average speedup of x3.12 with a median speedup of x1.42 against default baselines over across all 250 CUDA kernels of KernelBench, with peak speedups reaching x120. In addition to the default baseline provided by KernelBench, CUDA-L1 demonstrates x2.77 over Torch Compile, x2.88 over Torch Compile with reduce overhead, x2.81 over CUDA Graph implementations, and remarkably x7.72 over cuDNN libraries. Furthermore, the model also demonstrates portability across different GPU architectures. Beyond these benchmark results, CUDA-L1 demonstrates several properties: it 1) discovers a variety of CUDA optimization techniques and learns to combine them strategically to achieve optimal performance; 2) uncovers fundamental principles of CUDA optimization, such as the multiplicative nature of optimizations; 3) identifies non-obvious performance bottlenecks and rejects seemingly beneficial optimizations that actually harm performance. The capabilities demonstrate that, RL can transform an initially poor-performing LLM into an effective CUDA optimizer through speedup-based reward signals alone, without human expertise or domain knowledge. This paradigm opens possibilities for automated optimization of CUDA operations, and holds promise to substantially promote GPU efficiency and alleviate the rising pressure on GPU computing resources.
• Abstract（参考訳）: GPUコンピューティングリソースの需要の指数的な増加は、自動CUDA最適化戦略に対する緊急の需要を生み出している。 LLMの最近の進歩はコード生成を約束することを示しているが、現在のSOTAモデルはCUDA速度を改善するために低い成功率を達成する。 本稿では,新しいコントラッシブRLアルゴリズムを用いたCUDA最適化のための自動強化学習フレームワークであるCUDA-L1を紹介する。 CUDA-L1は、CUDA最適化タスクの大幅なパフォーマンス向上を実現している。A100でトレーニングされた場合、平均速度はx3.12で、平均速度はx1.42で、デフォルトベースラインは250のCUDAカーネルで、ピーク速度はx120に達する。 KernelBenchが提供するデフォルトのベースラインに加えて、CUDA-L1はTorch Compileのx2.77、Torch Compileのx2.88、CUDA Graphの実装のx2.81、cuDNNライブラリのx7.72などがデモされている。 さらに、モデルは異なるGPUアーキテクチャ間のポータビリティも示す。 これらのベンチマーク結果以外にも、CUDA-L1はいくつかの特性を示している。 1)様々なCUDA最適化手法を発見し、それらを戦略的に組み合わせて最適な性能を達成することを学ぶ。 2) 最適化の乗法的性質など,CUDA最適化の基本原則を明らかにする。 3) 予期せぬパフォーマンスボトルネックを特定し、パフォーマンスを実際に損なうような、一見有益な最適化を拒否する。 この能力は、人間の専門知識やドメイン知識なしに、RLが初期性能の悪いLCMを、スピードアップベースの報酬信号だけで効果的なCUDAオプティマイザに変換できることを実証している。 このパラダイムはCUDA操作の自動最適化の可能性を開放し、GPU効率を大幅に向上し、GPUコンピューティングリソースの上昇圧力を軽減することを約束している。

関連論文リスト

• Libra: Synergizing CUDA and Tensor Cores for High-Performance Sparse Matrix Multiplication [6.557224606759151]
  現代の加速器は一般にスパース演算子を加速するコアとコアを備えている。 資源を1つだけ利用すれば,それぞれの制限のため,スパース行列乗算の性能が劣ることを示す。 本稿では,2.9コアの高性能とコアの低冗長性を両立させて,タスクマッピング演算子のスイートポイントを求める2D対応のワークロード計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-28T01:50:13Z)
• HPCTransCompile: An AI Compiler Generated Dataset for High-Performance CUDA Transpilation and LLM Preliminary Exploration [13.53425131505526]
  ディープラーニングは、モデルパラメータと計算要求の指数関数的な増加を促した。 NVIDIA GPUとそのソフトウェアエコシステムは、並列コンピューティングの堅牢なサポートを提供する。 エコシステムは並列ソフトウェア分野において支配的な地位を確立してきた。 並列プログラミングのパラダイムとハードウェアの違いにより、コードを他のプラットフォームに翻訳することは大きな課題となる。
  論文  参考訳（メタデータ） (2025-06-12T06:48:33Z)
• CUDA-LLM: LLMs Can Write Efficient CUDA Kernels [9.287036563375617]
  大規模言語モデル(LLM)は汎用コード生成において強力な機能を示している。 我々は,textbfFeature SearchReinforcement (FSR) FSRという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-10T10:51:03Z)
• Streaming Looking Ahead with Token-level Self-reward [50.699168440048716]
  本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
  論文  参考訳（メタデータ） (2025-02-24T22:35:53Z)
• Multi-GPU RI-HF Energies and Analytic Gradients $-$ Towards High Throughput Ab Initio Molecular Dynamics [0.0]
  本稿では,複数グラフィクス処理ユニット(GPU)を用いた高次ハートリー・フォックエネルギーと解析勾配の解法を最適化したアルゴリズムと実装を提案する。 このアルゴリズムは特に、中小分子(10-100原子)の高スループット初期分子動力学シミュレーションのために設計されている。
  論文  参考訳（メタデータ） (2024-07-29T00:14:10Z)
• SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation [0.0]
  大型言語モデル(LLM)はその出現以来、重要なワークロードとなっている。 また、数十億のパラメータを持ち、大量のデータで訓練されているため、計算コストも高い。 近年、LLMのトレーニングと推論のための専用カーネルが開発されているため、ハードウェアリソースは可能な限り十分に活用されている。
  論文  参考訳（メタデータ） (2024-03-25T15:26:50Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。