論文の概要: Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles

• arxiv url: http://arxiv.org/abs/2609.22220v1
• Date: Wed, 02 Sep 2026 10:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.789874
• Title: Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles
• Title（参考訳）: チェッカーの測定:GPUカーネルベンチマークオラクルの変異解析
• Abstract要約: LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
• 参考スコア（独自算出の注目度）: 86.41218924166775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks for LLM-generated GPU kernels decide correctness with a few random inputs and a loose floating-point tolerance, and their verdicts now feed leaderboards and reinforcement-learning rewards. Recent work agrees these checkers are weak and patches them by hand---extra input distributions, fuzzing recipes, tighter tolerances---with no way to \emph{measure} whether any patch suffices. We introduce mutation analysis as an adequacy metric for kernel-benchmark oracles: deterministic rules inject 10{,}303 compilable faults into verified CUDA implementations of 188 KernelBench problems, 7{,}384 of them with an independent kill witness; any test protocol is scored by the fraction it detects. The official check misses \textbf{one in six} witnessed faults (16.9%), deterministically, and the misses are skewed by family: 8.7% of arithmetic faults escape, but 78.6% of precision faults do. The metric explains why (a tolerance blind band growing with reduction size; a measured ceiling on input aggressiveness set by legitimate floating-point variance), audits the strongest existing patch (KernelBench-Verified's gain splits into $+4.0$ points from hidden inputs and $+4.5$ from tighter tolerance, a split its authors could not compute), and exposes a published fuzzing recipe that rejects \emph{correct} kernels 107 times. Optimizing suites over the kill matrix reaches 98.0% detection with two inputs per problem (94.8% held-out), and the measurement's fault taxonomy teaches a test generator more than the raw faults themselves. Across 48 whole architectures, the blindness grows with scale, concentrating in deep homogeneous pipelines, and two problems prove unrefereeable: their official references violate the benchmark's own tolerance against fp64. We release everything as \href{https://huggingface.co/datasets/Elfsong/KernelBench-M}{KernelBench-M}.
• Abstract（参考訳）: LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 10{,}303のコンパイル可能なフォールトを188の KernelBench 問題の CUDA 実装に注入し,そのうち7{,}384 を独立したキルビクターで検出した。 公式のチェックミスは、目撃されたフォールト(16.9%)、決定的にミスは家族によってスキューされる:算術的なフォールト8.7%、精度の高いフォールト78.6%である。 このメトリクスはなぜ(縮小サイズで成長する寛容なブラインドバンド、正当な浮動小数点分散によって設定された入力攻撃性に関する測定された天井)、最強の既存パッチ(KernelBench-Verifiedのゲインは隠れ入力から$+4.0$ポイント、作者が計算できない$+4.5$ポイント)を監査し、発行されたファズリングレシピを公開し、 \emph{correct}カーネルを107回拒否する。 キルマトリクス上でのスイートの最適化は、問題毎に2つの入力(94.8%がホールトアウト)で98.0%に達する。 48のアーキテクチャ全体にわたって、ブラインドネスはスケールとともに増加し、深い均一なパイプラインに集中している。 すべては \href{https://huggingface.co/datasets/Elfsong/KernelBench-M}{KernelBench-M} としてリリースします。

関連論文リスト

• Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
  量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。 5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
  論文  参考訳（メタデータ） (2026-08-25T03:05:54Z)
• A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family [0.9740025522928777]
  言語モデルでGPUカーネルを生成するシステムは、高い正確性率を報告している。 カーネルをいくつかのランダムな入力で1つの固定された形で実行し、出力が参照に近ければ受け入れる。 我々は12個の逆ゲートからなるコントラクトグレードの検証器を構築し、それぞれが正しいカーネルが満たさなければならないプロパティであり、そのいくつかはトレランスフリーである。
  論文  参考訳（メタデータ） (2026-08-13T01:25:56Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Operator-Aware Mixed-Precision Tolerance Calibration for Tensor Kernels [0.0]
  テンソル-カーネルの正当性テストは、手書きの絶対値と相対値の許容値を持つ固定形全クローズスタイルチェックを経由する。 我々は、カーネル自体が正しい実装で観察される絶対許容度を問う。 答えは、現在の手書きのガソリンよりずっときつい。
  論文  参考訳（メタデータ） (2026-06-23T20:50:36Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
  Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。 kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。 kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:06:15Z)
• Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
  非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。 この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
  論文  参考訳（メタデータ） (2025-10-30T12:20:25Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Fault-tolerant parity readout on a shuttling-based trapped-ion quantum computer [64.47265213752996]
  耐故障性ウェイト4パリティチェック測定方式を実験的に実証した。 フラグ条件パリティ測定の単発忠実度は93.2(2)%である。 このスキームは、安定化器量子誤り訂正プロトコルの幅広いクラスにおいて必須な構成要素である。
  論文  参考訳（メタデータ） (2021-07-13T20:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。