論文の概要: AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents

• arxiv url: http://arxiv.org/abs/2605.16819v1
• Date: Sat, 16 May 2026 05:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.104912
• Title: AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents
• Title（参考訳）: AgentKernelArena: GPUカーネル最適化エージェントの一般化対応ベンチマーク
• Authors: Sharareh Younesian, Wenwen Ouyang, Sina Rafati, Mehdi Rezagholizadeh, Sharon Zhou, Ji Liu, Yue Liu, Yuchen Yang, Hao Li, Ziqiong Liu, Dong Li, Vikram Appia, Zhenyu Gu, Emad Barsoum,
• Abstract要約: AgentArenaは、GPUカーネル最適化上のAIコーディングエージェントを測定するためのオープンソースのベンチマークである。 ほとんどのタスクカテゴリにおいて、ほぼ完全なコンパイルと高い正当性率が得られます。 その結果,HIP-to-HIPとTriton-to-Tritonの最適化は未確認入力形式に大きく移行した。
• 参考スコア（独自算出の注目度）: 30.03012293068346
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: GPU kernel optimization is increasingly critical for efficient deep learning systems, but writing high-performance kernels still requires substantial low-level expertise. Recent AI coding agents can iteratively read code, invoke compilers and profilers, and refine implementations, yet existing kernel benchmarks evaluate single LLM calls rather than full agent workflows, and none include both kernel-to-kernel optimization and unseen-configuration generalization testing. We present AgentKernelArena, an open-source benchmark for measuring AI coding agents on GPU kernel optimization. The benchmark contains 196 tasks spanning HIP-to-HIP optimization, Triton-to-Triton optimization, and PyTorch-to-HIP translation, and evaluates complete agent workflows in isolated workspaces using gated compilation, correctness, and performance checks, centralized scoring and an unseen-configuration generalization protocol that tests whether optimizations transfer to input configurations the agent never observed. Across production agents including Cursor Agent, Claude Code, and Codex Agent, we find near-perfect compilation and high correctness rates on most task categories, with the strongest configurations achieving mean speedups of up to 6.89x on PyTorch-to-HIP, 6.69x on HIP-to-HIP, and 2.13x on Triton-to-Triton tasks. Our unseen-configuration evaluation shows that HIP-to-HIP and Triton-to-Triton optimizations largely transfer to unseen input shapes, while PyTorch-to-HIP exhibits substantial correctness drops, indicating that agents generating kernels from scratch frequently hardcode shape-specific assumptions. AgentKernelArena is designed as a modular, extensible framework for rigorous evaluation of agentic GPU kernel optimization across agents, tasks, and hardware targets.
• Abstract（参考訳）: GPUカーネルの最適化は、効率的なディープラーニングシステムではますます重要になっているが、高性能カーネルを書くには依然としてかなりの低レベルな専門知識が必要である。 最近のAIコーディングエージェントは、繰り返しコードを読み、コンパイラやプロファイラを起動し、実装を洗練することができるが、既存のカーネルベンチマークでは、完全なエージェントワークフローではなく単一のLLM呼び出しを評価しており、カーネル間最適化と予期しない設定の一般化テストの両方を含んでいない。 我々はGPUカーネル最適化においてAI符号化エージェントを測定するためのオープンソースのベンチマークであるAgentKernelArenaを紹介する。 このベンチマークには、HIP-to-HIP最適化、Triton-to-Triton最適化、PyTorch-to-HIP変換にまたがる196のタスクが含まれており、ゲートコンパイル、正当性、パフォーマンスチェック、集中的なスコアリング、エージェントが監視しなかった入力設定への最適化をテストする未確認設定の一般化プロトコルを用いて、独立したワークスペースにおける完全なエージェントワークフローを評価する。 Cursor Agent、Claude Code、Codex Agentを含むプロダクションエージェント全体で、ほとんどのタスクカテゴリでほぼ完璧にコンパイルされ、高い精度が得られ、PyTorch-to-HIPの平均スピードアップは6.89倍、HIP-to-HIPは6.69倍、Triton-to-Tritonタスクは2.13倍となる。 その結果,HIP-to-HIPとTriton-to-Tritonの最適化は未確認の入力形状に大きく移行しているのに対し,PyTorch-to-HIPは相当な精度低下を示し,スクラッチからカーネルを生成するエージェントがハードコード形状の仮定を頻繁に生成していることが示唆された。 AgentKernelArenaは、エージェント、タスク、ハードウェアターゲット間のエージェントGPUカーネル最適化を厳格に評価するためのモジュール化された拡張可能なフレームワークとして設計されている。

関連論文リスト

• Agent-GWO: Collaborative Agents for Dynamic Prompt Optimization in Large Language Models [69.55139736609367]
  Agent-GWOは複雑な推論のための動的プロンプト最適化フレームワークである。 本稿では,Agent-GWOが既存のプロンプト最適化手法よりも精度と安定性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2026-04-14T07:35:37Z)
• Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization [48.656549870801285]
  Kernel-Smithは高性能GPUカーネルと演算子生成のためのフレームワークである。 エージェント側では、Kernel-Smithは実行可能な候補の集団を維持し、反復的にそれらを改善している。 トレーニング側では、長距離進化軌道をステップ中心の監視と強化学習信号に変換する。
  論文  参考訳（メタデータ） (2026-03-30T12:12:49Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware [25.808580418841718]
  新しいAIアクセラレータは、しばしば開発者が手動で低レベルのカーネルを作る必要がある。 これにより、新興ハードウェアプラットフォームが市場に到達するのを効果的に防ぐことができる。 KernelCraftは、エージェントがカスタマイズされたアクセラレーターのために低レベルのカーネルを生成し最適化する能力を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-10T14:52:02Z)
• Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
  Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。 kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。 kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:06:15Z)
• A Two-Stage GPU Kernel Tuner Combining Semantic Refactoring and Search-Based Optimization [9.49293344824955]
  本稿では,エージェント駆動反復ループ上にテンプレートベースの書き換え層を導入する。 提案手法は,実運用負荷に対する自動性能最適化を実現するために拡張することができる。
  論文  参考訳（メタデータ） (2026-01-19T03:40:12Z)
• Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems [1.2289544895833646]
  マルチエージェントPyTorch最適化システムを比較するためのフレームワークを提案する。 エラー修正エージェントと組み合わせた場合,エクスプロイトヘビー戦略が最善であることを示す。 最も優れた実装は、H100 GPU上で平均2.88倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-11-21T05:37:38Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。