論文の概要: KernelAudit: Contract-Aware Auditing of Validators for LLM-Generated GPU Kernels
- arxiv url: http://arxiv.org/abs/2611.15506v1
- Date: Wed, 11 Nov 2026 14:02:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.161422
- Title: KernelAudit: Contract-Aware Auditing of Validators for LLM-Generated GPU Kernels
- Title(参考訳): KernelAudit: LLM生成GPUカーネルのバリデータのコントラクトアウェア監査
- Abstract要約: 既存のバリデータには様々な制限がある。
例えば、禁止されている図書館の使用を欠いたため、不当に候補者を受け入れている場合。
図書館の使用が禁じられていると 判断して 候補を不当に拒否する。
提案手法は, 構成制御を含む7つのコーパスから, 6つのバリデータと716個の候補の質を評価するためのものである。
- 参考スコア(独自算出の注目度): 9.840437556145098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effectiveness of generating GPU kernels driven by a large language model (LLM) is highly dependent on the quality of the used validator (used to accept or reject a generated kernel candidate against the contracts of the given kernel-generation task), whose results inform reward assignment, candidate selection, and speedup claims during kernel generation. However, an existing validator suffers from various limitations, e.g., wrongly accepting a candidate due to missing its forbidden library use or wrongly rejecting a candidate due to determining its permitted library use as forbidden (constraints on library uses are stated in the task contracts). To assess the quality of a validator against the given task contracts, we propose an independent-audit approach for the validator by (1) construction of audit oracle: labeling a candidate as PASS or FAIL based on three separate dimensions in our proposed contract model (i.e., semantic correctness, implementation integrity, and measurement integrity) and (2) auditing of the validator against the audit oracle: comparing the labels of the candidate against the validation results produced by the validator. For semantic correctness, reference-calibrated stress tests check output correctness on valid inputs for a candidate. For implementation integrity, reference and candidate execution traces are used to determine specific library uses. For measurement integrity, timing checks assess whether the reported runtime reflects the full time needed to complete the candidate's computation. We apply our approach to assess the quality of six validators and 716 candidates from seven corpora, including constructed controls. The evaluation results show that our approach helps assess the existing six validators to have nontrivial false-reject rates. There is high-degree agreement between the candidate labels produced by our audit oracle and human judgments.
- Abstract(参考訳): 大規模言語モデル(LLM)によって駆動されるGPUカーネルの生成効率は、使用するバリデータの品質(与えられたカーネル生成タスクのコントラクトに対して生成されたカーネル候補を受理または拒否するために使用される)に大きく依存する。
しかし、既存のバリデータには、例えば、禁止ライブラリ使用の欠如による候補の受理や、禁止ライブラリ使用の決定による候補の拒絶など、さまざまな制限がある(タスクコントラクトにライブラリ使用制限が記載されている)。
本研究は, 評価対象者に対して, 1) 評価対象者に対して, 評価対象者に対して, 評価対象者に対して, 評価対象者に対して, 評価対象者に対して, 評価対象者に対して, 評価対象者に対して, 評価対象者のラベルをPASS又はFAILとしてラベル付けすること (意味的正当性, 実装の整合性, 測定の整合性) と, (2) 評価対象者に対して評価対象者のラベルを比較することによる, 評価対象者に対する独立監査手法を提案する。
意味的正当性について、基準校正されたストレステストは、候補に対する有効な入力の出力正当性をチェックする。
実装の整合性のために、特定のライブラリの使用を決定するために、参照と候補実行トレースが使用される。
測定の完全性のために、タイミングチェックは、報告されたランタイムが候補の計算を完了するのに必要な全時間を反映しているかどうかを評価する。
提案手法は, 構成制御を含む7つのコーパスから, 6つのバリデータと716個の候補の質を評価するためのものである。
評価の結果,提案手法は既存の6つのバリデータに対して,非自明な誤検出率を示すのに有効であることがわかった。
監査宣誓供述書から得られた候補ラベルと人的判断との間には,高度に一致している。
関連論文リスト
- VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。
Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。
分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
論文 参考訳(メタデータ) (2026-10-19T17:22:36Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳(メタデータ) (2026-10-13T17:22:58Z) - One-Sided Verification Under Limited Expert Review [81.81806589083486]
我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。
我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。
実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
論文 参考訳(メタデータ) (2026-10-13T10:10:11Z) - Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation [10.05347468916821]
テスト時の計算は、コード生成を改善する中心的な方法になっている。
検証者が生成元から独立して補正信号を提供するという仮定に挑戦する。
私たちはこの障害モードを検証トラップと呼んでいる。
論文 参考訳(メタデータ) (2026-10-04T12:28:10Z) - Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback [2.8716825293247665]
本研究では,非回帰寛容性を考慮したチェックポイント選択について検討した。
提案手法では,候補探索を独立したペア評価から分離する再現可能なリリース手順を提案する。
共同リリース決定は、スライス数のボンフェロニのペナルティを必要としないが、スライス数によって認定能力は低下する可能性がある。
論文 参考訳(メタデータ) (2026-09-12T05:00:50Z) - Candidate-Fate Accounting for Transparent Sensor Diagnostic Pipeline Search [6.854888007373378]
本稿では,検索トレースを診断するための候補レベル監査フレームワークである候補候補会計を提案する。
実験の結果、このフレームワークは不正な候補を検出し、30-41の候補が適合した裁判のみの報告によって省略されることが判明した。
論文 参考訳(メタデータ) (2026-08-19T08:15:00Z) - NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision [0.9475982252982437]
固定モデルのしきい値付き復号法を用いて許容ラベルと候補ターゲットを定義するフレームワークであるNatural Language PACを紹介する。
凍結したQwen2.5--3B監査では、事前に特定されたプロンプトが正のモデル相対証明を出力し、パラフレーズと正確なルール制御がゼロになる。
論文 参考訳(メタデータ) (2026-07-09T21:53:00Z) - Bayesian control for coding agents [63.64172141184361]
本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。
ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。
本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
論文 参考訳(メタデータ) (2026-06-23T11:41:32Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7~10ポイントの絶対精度を観測した。
論文 参考訳(メタデータ) (2026-02-15T02:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。