論文の概要: RealisticTritonBench: A Benchmark for Triton-Kernel Generation in Real-World AI Frameworks

• arxiv url: http://arxiv.org/abs/2608.12004v1
• Date: Wed, 12 Aug 2026 12:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.572798
• Title: RealisticTritonBench: A Benchmark for Triton-Kernel Generation in Real-World AI Frameworks
• Title（参考訳）: RealisticTritonBench: 現実世界のAIフレームワークにおけるトリトンカーネル生成のベンチマーク
• Abstract要約: 我々はRealisticTritonBenchを紹介した。これは、Tritonカーネル生成タスクを、人気のあるAIフレームワークにおける現実世界のプルリクエストから導き出す最初のベンチマークである。 RealisticTritonBenchは、Tritonカーネルを一般的なオープンソースAIフレームワークから変更したPRを統合し、具体的なエンジニアリングコンテキストを備えた生成タスクに変換する。 我々は、RealisticTritonBench上でのLLMの評価を行い、実世界のTritonカーネル生成タスクといまだに苦労していることを確認した。
• 参考スコア（独自算出の注目度）: 7.371299443009948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern AI frameworks, GPU kernels are key to overall system performance. Combining usability, portability, and near-handwritten CUDA performance, Triton is widely adopted for implementing GPU kernels. Recent advances show the potential of large language models (LLMs) to automatically generate Triton kernels, reducing the manual effort required from expert kernel developers. Several benchmarks evaluate LLM-generated Triton kernels. However, they suffer from three key limitations: (1) they restrict tasks to PyTorch-to-Triton translation, failing to reflect the diversity and complexity of real-world Triton tasks; (2) they evaluate only individual-kernel performance rather than end-to-end performance, the core criterion for real-world deployment in AI frameworks; and (3) they rely on manually written evaluation scripts for individual kernels, which may contain flaws that models can exploit to bypass correctness checks and obtain inflated scores. To address these limitations, we introduce RealisticTritonBench, the first benchmark to derive Triton kernel generation tasks from real-world pull requests in popular AI frameworks, enabling realistic, production-like evaluation. RealisticTritonBench systematically extracts PRs that modify Triton kernels from popular open-source AI frameworks and transforms them into generation tasks with concrete engineering contexts. Each task takes a natural language requirement as input and requires a corresponding Triton kernel implementation, with a complete and reproducible evaluation environment. Unlike prior benchmarks focused on isolated kernel performance, RealisticTritonBench integrates generated kernels into their original frameworks and evaluates them using end-to-end tests, enabling a more faithful assessment. We evaluate leading LLMs on RealisticTritonBench and find that they still struggle with real-world Triton kernel generation tasks.
• Abstract（参考訳）: 現代のAIフレームワークでは、GPUカーネルがシステムパフォーマンス全体の鍵となる。 ユーザビリティ、ポータビリティ、ほぼ手書きのCUDAパフォーマンスを組み合わせることで、TritonはGPUカーネルの実装に広く採用されている。 最近の進歩は、Tritonカーネルを自動生成する大規模言語モデル(LLM)の可能性を示している。 いくつかのベンチマークでは、LLMの生成したトリトンカーネルを評価している。 しかし、(1)タスクをPyTorch-to-Triton変換に制限し、現実世界のTritonタスクの多様性と複雑さを反映しない、(2)エンド・ツー・エンドのパフォーマンスではなく、個々のカーネルのパフォーマンスのみを評価する、(3)AIフレームワークにおける現実のデプロイメントのコア基準、(3)モデルが正確性チェックをバイパスし、膨らませたスコアを得るのに活用できる欠陥を含む、個々のカーネルに対する手作業による評価スクリプトに依存する、という3つの大きな制限に悩まされている。 これらの制限に対処するために、RealisticTritonBenchを紹介します。これは、Tritonカーネル生成タスクを、一般的なAIフレームワークにおける実世界のプルリクエストから導出する最初のベンチマークで、現実的で、プロダクションライクな評価を可能にします。 RealisticTritonBenchは、一般的なオープンソースAIフレームワークからトリトンカーネルを変更するPRを体系的に抽出し、具体的なエンジニアリングコンテキストでそれらを生成タスクに変換する。 各タスクは自然言語の要求を入力として受け取り、完全な再現可能な評価環境を備えた対応するTritonカーネルの実装を必要とする。 独立したカーネルパフォーマンスに焦点を当てた以前のベンチマークとは異なり、RealisticTritonBenchは生成されたカーネルを元のフレームワークに統合し、エンドツーエンドテストを使用して評価することで、より忠実な評価を可能にする。 我々は、RealisticTritonBench上でのLLMの評価を行い、実世界のTritonカーネル生成タスクといまだに苦労していることを確認した。

関連論文リスト

• Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis [68.7701048879757]
  EvoKernelは、カーネル合成のライフサイクルを自動化する自己進化型エージェントフレームワークである。 ステージ固有のQ値を学び、現在の目標への貢献に基づいて経験を優先する。 モデルの正しさを11.0%から83.0%に改善し、初期ドラフトよりも3.60倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:06Z)
• RADAR: Benchmarking Vision-Language-Action Generalization via Real-World Dynamics, Spatial-Physical Intelligence, and Autonomous Evaluation [76.22852262683746]
  本稿では,現実的な条件下でのVLA一般化を体系的に評価するベンチマークであるRADARを紹介する。 RADARを用いて、複数の最先端のVLAモデルを監査し、その明らかな能力の下で深刻な脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2026-02-11T16:08:30Z)
• TritonForge: Profiling-Guided Framework for Automated Triton Kernel Optimization [24.065109818256605]
  TritonForgeは、GPUカーネルの自動最適化のためのプロファイリング誘導フレームワークである。 カーネル分析、ランタイムプロファイリング、反復的なコード変換を統合し、プロセスを合理化します。 ベースライン実装よりも最大5倍のパフォーマンス向上を実現し、ケースの1.76倍が成功している。
  論文  参考訳（メタデータ） (2025-12-09T23:44:35Z)
• Run, Ruminate, and Regulate: A Dual-process Thinking System for Vision-and-Language Navigation [52.11339614452127]
  VLN(Vision-and-Language Navigation)は、エージェントが人間の指示に従って複雑な3D環境を動的に探索する必要がある。 近年の研究では、一般的な知識と一般的な推論能力から、大きな言語モデル(LLM)をVLNに活用する可能性を強調している。 本稿では、LLMの一般化機能とVLN固有の専門知識をゼロショットで統合する、R3と呼ばれる新しいデュアルプロセス思考フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-18T04:32:00Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• TritonRL: Training LLMs to Think and Code Triton Without Cheating [14.859089778654933]
  TritonRLは、堅牢で自動化されたカーネル合成を可能にする新しいトレーニングフレームワークで訓練されている。 KernelBenchの実験により、TritonRLは、他のTriton固有のモデルを上回る、最先端の精度とスピードアップを達成することを示した。
  論文  参考訳（メタデータ） (2025-10-18T21:36:10Z)
• Geak: Introducing Triton Kernel AI Agent & Evaluation Benchmarks [11.253534066141668]
  パフォーマンスと生産性の要求を満たすため、低レベルのカーネル開発を自動化することが不可欠である。 主要なクラウドプロバイダ、半導体企業、研究機関は現在、GPUのためのAI駆動コード生成に多大な投資をしている。 本稿では,TritonベースのGPUカーネルとGAAK(効率的なAI中心GPUカーネルの生成)の評価スイートを提案する。
  論文  参考訳（メタデータ） (2025-07-31T02:26:58Z)
• AutoTriton: Automatic Triton Programming with Reinforcement Learning in LLMs [87.8306870967343]
  我々は、強化学習(RL)を利用したトリトンプログラミングのための最初のモデルであるAutoTritonを紹介する。 AutoTritonは、高品質なデータ収集パイプラインを使用して、本質的なTritonプログラミング専門知識を備えた教師付き微調整(SFT)を実行する。 TritonBenchとKernelBenchの5つの評価チャネルでの実験は、我々の8BモデルAutoTritonがメインストリームの大規模モデルに匹敵するパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-07-08T05:38:24Z)
• TritonBench: Benchmarking Large Language Model Capabilities for Generating Triton Operators [59.625889531331815]
  Tritonは、効率的なGPUカーネルを構築するために設計されたハイレベルなPythonライクな言語である。 従来のコード生成のための大規模言語モデル(LLM)の進歩にもかかわらず、これらのモデルは正確でパフォーマンスに最適化されたトリトンコードを生成するのに苦労している。 本稿では,Triton演算子生成のための総合ベンチマークであるTritonBenchを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T17:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。