論文の概要: DRTriton: Large-Scale Synthetic Data Reinforcement Learning for Triton Kernel Generation

• arxiv url: http://arxiv.org/abs/2603.21465v1
• Date: Mon, 23 Mar 2026 00:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.431913
• Title: DRTriton: Large-Scale Synthetic Data Reinforcement Learning for Triton Kernel Generation
• Title（参考訳）: DRTriton:トリトンカーネル生成のための大規模合成データ強化学習
• Authors: Siqi Guo, Ming Lin, Tianbao Yang,
• Abstract要約: 大規模言語モデル(LLM)は自動的にPyTorchの参照実装をカーネルに変換し、エンジニアリングの労力を大幅に削減する。 我々は、PyTorchコードを高度に最適化されたTritonカーネルに変換するために、LLMをトレーニングするためのスケーラブルな学習フレームワークであるDRTritonを提案する。 DRTritonは、 (i) 演算子空間の完全なカバレッジと偏りのない一様サンプリングを保証する合成アルゴリズムCSP-DAG、 (ii) 分解された報酬によるカリキュラム強化学習で変換成功率と19%の速度を効率よく最適化し、 (iii) 推論速度をさらに改善するテストタイム探索アルゴリズムである。
• 参考スコア（独自算出の注目度）: 35.68487613748886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing efficient CUDA kernels is a fundamental yet challenging task in the generative AI industry. Recent researches leverage Large Language Models (LLMs) to automatically convert PyTorch reference implementations to CUDA kernels, significantly reducing the engineering efforts. State-of-the-art LLMs, such as GPT-5.2 and Claude-Sonnet-4.5, still struggle in this specific task. To address this challenge, we propose DRTriton, a scalable learning framework for training LLMs to convert PyTorch codes into highly optimized Triton kernels, which are then compiled to CUDA kernels at runtime. DRTriton consists of three key components: (i) a data synthetic algorithm CSP-DAG that guarantees full coverage and unbiased uniform sampling over the operator space with controlled difficulty; (ii) a curriculum reinforcement learning with decoupled reward efficiently optimizes conversion success rate and inference speed simultaneously; and (iii) a test-time search algorithm that further improves the inference speed of the generated Triton kernels. Notably, despite being trained exclusively on synthetic data, DRTriton generalizes effectively to real-world CUDA kernels that are challenging even for human experts. Experimental results show that DRTriton-7B achieves speedup on 92% of the KernelBench Level 2, compared to 23% for GPT-5.2 and 19% for Claude-Sonnet-4.5.
• Abstract（参考訳）: 効率的なCUDAカーネルを開発することは、ジェネレーティブAI産業の基本的な課題である。 最近の研究では、Large Language Models (LLM)を活用して、PyTorch参照実装をCUDAカーネルに自動的に変換し、エンジニアリングの労力を大幅に削減している。 GPT-5.2やClaude-Sonnet-4.5のような最先端のLLMは、この特定の課題に苦戦している。 この課題に対処するために、我々は、LLMをトレーニングするスケーラブルな学習フレームワークであるDRTritonを提案し、PyTorchコードを高度に最適化されたTritonカーネルに変換し、実行時にCUDAカーネルにコンパイルする。 DRTritonは3つの重要なコンポーネントから構成される。 i) データ合成アルゴリズム CSP-DAG は,制御困難を伴う演算子空間上の全カバレッジ及び均一サンプリングを保証する。 2疎結合の報酬を伴うカリキュラム強化学習は、変換成功率と推論速度を同時に効率的に最適化し、 3) 生成されたTritonカーネルの推論速度をさらに向上するテスト時間探索アルゴリズム。 特に、DRTritonは人工データにのみ訓練されているにもかかわらず、人間の専門家でさえ挑戦する現実世界のCUDAカーネルに効果的に一般化している。 DRTriton-7Bは、GPT-5.2では23%、Claude-Sonnet-4.5では19%に比べて、KernelBenchレベル2の92%で高速化された。

関連論文リスト

• Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis [68.7701048879757]
  EvoKernelは、カーネル合成のライフサイクルを自動化する自己進化型エージェントフレームワークである。 ステージ固有のQ値を学び、現在の目標への貢献に基づいて経験を優先する。 モデルの正しさを11.0%から83.0%に改善し、初期ドラフトよりも3.60倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:06Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• Fine-Tuning GPT-5 for GPU Kernel Generation [5.109141377873154]
  本稿では,フロンティアモデルの強化学習のための環境とツールについて述べる。 単一触覚設定では、微調整されたモデルにより、カーネルの正しさが43.7%から77.0%に向上する。 完全なコーディングエージェントに統合されると、拡張されたKernelBenchスイートで97.4%の問題を解決することができる。
  論文  参考訳（メタデータ） (2026-02-11T16:22:54Z)
• Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations [32.98036846113632]
  カーネル生成のための強化学習(RL)について検討する。 そこで我々は,不偏利推定を行うために,ターンレベル強化-Leave-One-Out (TRLOO)を提案する。 本稿では、プロファイリングに基づくリワード(PR)とプロファイリングに基づくリジェクションサンプリング(PRS)を導入し、この問題を克服する。
  論文  参考訳（メタデータ） (2026-02-05T17:01:09Z)
• AutoTriton: Automatic Triton Programming with Reinforcement Learning in LLMs [87.8306870967343]
  我々は、強化学習(RL)を利用したトリトンプログラミングのための最初のモデルであるAutoTritonを紹介する。 AutoTritonは、高品質なデータ収集パイプラインを使用して、本質的なTritonプログラミング専門知識を備えた教師付き微調整(SFT)を実行する。 TritonBenchとKernelBenchの5つの評価チャネルでの実験は、我々の8BモデルAutoTritonがメインストリームの大規模モデルに匹敵するパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-07-08T05:38:24Z)
• Trinity: A General Purpose FHE Accelerator [17.213234642867537]
  我々は、CKKS、TFHE、およびそれらの変換スキームを1つのアクセラレータ内で効率的にサポートする統一アーキテクチャに基づく、最初のマルチモーダルFHEアクセラレータを提案する。 本稿では,アルゴリズム最適化,ハードウェアコンポーネントの再利用,動的ワークロードスケジューリングを取り入れた新しいFHEアクセラレータTrinityを提案する。
  論文  参考訳（メタデータ） (2024-10-17T10:02:38Z)
• Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
  本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。 本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
  論文  参考訳（メタデータ） (2022-06-05T05:28:32Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。