論文の概要: CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

• arxiv url: http://arxiv.org/abs/2607.20518v1
• Date: Wed, 08 Jul 2026 02:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.207804
• Title: CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits
• Title（参考訳）: CANN Bench: ベンチマークエージェントによる実NPUとアルゴリズムの制限に対するカーネル生成
• Abstract要約: CANN BenchはHuaweiのAscend NPU上のAI生成オペレータコードのオープンベンチマークである。 評価は、コンパイル、機能的正しさ、パフォーマンスを独立した軸として扱う3次元重み付き複合スコアを採用する。
• 参考スコア（独自算出の注目度）: 9.970450719182633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents are now capable of writing, compiling, and iteratively optimizing low-level operator kernels on different hardware platforms. Existing benchmarks, however, focus almost exclusively on CUDA and Triton, leaving hardware ecosystems with less-exposed programming models without a common evaluation baseline. We present CANN Bench, an open benchmark for AI-generated operator code on Huawei's Ascend NPU. The current release covers 53 operators and 1060 test cases organized into four difficulty tiers -- from simple elementwise primitives to MoE dispatch and FlashAttention kernels -- spanning FP16, BF16, FP32, and INT8 precision formats. Evaluation adopts a \textbf{three-dimensional weighted composite score} that treats compilation, functional correctness, and performance as independent axes, providing a principled reward signal for kernel-generation agents. Performance is graded against an out-of-the-box PyTorch-on-Ascend baseline and an analytical per-case Hardware-Anchored Performance (HAP) limit on real NPU hardware, ensuring scores reflect genuine optimization headroom rather than measurement artifacts. The evaluation harness is designed to resist reward hacking from the ground up. CANN Bench is versioned within the official CANN repository and is designed for long-term community co-construction, providing the Ascend ecosystem with a quantitative, reproducible, and sustainably maintained yardstick for AI operator-authoring capability.
• Abstract（参考訳）: AIエージェントは、さまざまなハードウェアプラットフォーム上で低レベルの演算子カーネルを書き、コンパイルし、反復的に最適化することができる。 しかし、既存のベンチマークはCUDAとTritonにのみ焦点をあてており、ハードウェアエコシステムに共通の評価基準を持たず、あまり公開されていないプログラミングモデルを残している。 我々は,HuaweiのAscend NPU上でAI生成オペレータコードのオープンベンチマークであるCANN Benchを紹介する。 現在のリリースでは、53のオペレータと1060のテストケースが、単純な要素のプリミティブからMoEディスパッチ、FlashAttentionカーネルまで、FP16、BF16、FP32、INT8の精度フォーマットの4つの難易度に分類されている。 評価は、コンパイル、機能的正しさ、性能を独立した軸として扱い、カーネル生成エージェントに原則化された報酬信号を提供する。 性能はPyTorch-on-Ascendベースラインと実際のNPUハードウェアにおけるハードウェア・アンコール性能(HAP)の限界に対して評価され、スコアは測定成果物ではなく真の最適化ヘッドルームを反映する。 評価ハーネスは、報酬のハッキングに抵抗するように設計されている。 CANN Benchは公式のCANNリポジトリ内でバージョン管理されており、長期のコミュニティ共同構築用に設計されており、AIオペレータオーサリング機能のための定量的で再現性があり、持続的に維持可能なヤードスティックを備えたAscendエコシステムを提供する。

関連論文リスト

• RealisticTritonBench: A Benchmark for Triton-Kernel Generation in Real-World AI Frameworks [7.371299443009948]
  我々はRealisticTritonBenchを紹介した。これは、Tritonカーネル生成タスクを、人気のあるAIフレームワークにおける現実世界のプルリクエストから導き出す最初のベンチマークである。 RealisticTritonBenchは、Tritonカーネルを一般的なオープンソースAIフレームワークから変更したPRを統合し、具体的なエンジニアリングコンテキストを備えた生成タスクに変換する。 我々は、RealisticTritonBench上でのLLMの評価を行い、実世界のTritonカーネル生成タスクといまだに苦労していることを確認した。
  論文  参考訳（メタデータ） (2026-08-12T12:38:17Z)
• Implementation and Optimization of HQC Decoding on NPU-Integrated Devices [0.6157382820537719]
  本稿では,NPU集積デバイスにおけるQualcommヘキサゴンプロセッサのHQCデコードについて検討する。 我々はテンソル推論エンジンではなく、ヘキサゴンベクトルeXtensions (HVX)バックエンドに焦点を当てている。 その結果、ヘキサゴン/HVXによるデコードにより、レイテンシとエネルギー消費が大幅に減少し、ホストCPUの処理を著しくオフロードしながら、最大18.13タイムのエネルギー効率が向上した。
  論文  参考訳（メタデータ） (2026-06-01T09:31:49Z)
• Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis [68.7701048879757]
  EvoKernelは、カーネル合成のライフサイクルを自動化する自己進化型エージェントフレームワークである。 ステージ固有のQ値を学び、現在の目標への貢献に基づいて経験を優先する。 モデルの正しさを11.0%から83.0%に改善し、初期ドラフトよりも3.60倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:06Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• AscendKernelGen: A Systematic Study of LLM-Based Kernel Generation for Neural Processing Units [39.846358001824996]
  我々は,NPUカーネル開発のための世代評価統合フレームワークAscend KernelGenを提案する。 本稿では,実世界のカーネル実装から派生したチェーン・オブ・シント推論を取り入れた高品質なデータセットAscend-CoTを紹介する。 NPU KernelBenchも設計しています。これは、様々な複雑さレベルにわたるコンパイル、正確性、パフォーマンスを評価するための包括的なベンチマークです。
  論文  参考訳（メタデータ） (2026-01-12T03:12:58Z)
• QiMeng-NeuComBack: Self-Evolving Translation from IR to Assembly Code [52.66657751895655]
  大規模言語モデル(LLM)は、ニューラルコンパイルという魅力的な新しいパラダイムを提供する。 本稿では,IR-to-assemblyコンパイル用に設計された新しいベンチマークデータセットであるNeuComBackを紹介する。 LLMの内部的なプロンプト戦略を進化させる自己進化的プロンプト最適化法を提案する。
  論文  参考訳（メタデータ） (2025-11-03T03:20:26Z)
• eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations [4.776283807742058]
  eIQ中性子効率NPUは商用フラッグシップMPUに統合される。 我々のソリューションは、標準AIベンチマークにおけるTOPSとメモリリソースの同等で平均1.8倍(4倍ピーク)のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-09-17T19:45:51Z)
• STEPWISE-CODEX-Bench: Evaluating Complex Multi-Function Comprehension and Fine-Grained Execution Reasoning [6.282781900938977]
  複雑な多機能理解と細粒度実行推論のための新しいベンチマークであるSTEPWISE-CODEX-Bench(SX-Bench)を提案する。 SX-Benchは非常に差別的であり、最先端のOpenAI-O3でさえハード推論タスクでは78.7%の精度しか達成していない。
  論文  参考訳（メタデータ） (2025-08-07T09:28:43Z)
• Geak: Introducing Triton Kernel AI Agent & Evaluation Benchmarks [11.253534066141668]
  パフォーマンスと生産性の要求を満たすため、低レベルのカーネル開発を自動化することが不可欠である。 主要なクラウドプロバイダ、半導体企業、研究機関は現在、GPUのためのAI駆動コード生成に多大な投資をしている。 本稿では,TritonベースのGPUカーネルとGAAK(効率的なAI中心GPUカーネルの生成)の評価スイートを提案する。
  論文  参考訳（メタデータ） (2025-07-31T02:26:58Z)
• START: Self-taught Reasoner with Tools [51.38785489790888]
  ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-03-06T17:11:51Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。