論文の概要: MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
- arxiv url: http://arxiv.org/abs/2610.05014v1
- Date: Sun, 04 Oct 2026 07:15:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:04:43.765234
- Title: MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
- Title（参考訳）: MetaKernelBench: コードを越えたGPUカーネル知識転送の測定
- Abstract要約: 本稿では,あるカーネルドメイン固有言語の試行から抽出した経験が,同じ問題に対する新たな試みを改善するかどうかを測定するメタベンチを紹介する。
74の問題は6つのファミリーで融合されたサブグラフであり、それぞれがDSLでのみ異なるCuTe DSLとTIRxの変種である。
それぞれのスキル試行と、一致した個別の予算の下で同じバリエーションを試行し、正確さとエンドツーエンドを評価します。
- 参考スコア（独自算出の注目度）: 18.86152071027907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent GPU kernel optimization agents retain what they learn in knowledge bases or as distilled skills. Kernel benchmarks score each attempt's implementation for correctness and speed but leave the reuse value of retained experience unmeasured. We introduce MetaKernelBench, which measures whether experience distilled from an attempt in one kernel domain-specific language (DSL) improves a fresh attempt at the same problem in another. Its 74 problems are fused subgraphs in six families, each posed as a pair of CuTe DSL and TIRx variants that differ only in the DSL. The agent first attempts each variant solo and is instructed to distill what it learns into a natural-language skill, which is transferred whether or not the source attempt passes verification. The skill is the only extra input to a skill-conditioned attempt by the same model in the other DSL. We compare each skill-conditioned attempt with the solo attempt on the same variant under matched per-attempt budgets, scoring correctness and end-to-end runtime. Across six models and both directions, paired lift over solo attempts ranges from -19% to +29%. Four models gain in both directions, yet regressions occur on 16% to 45% of problems in every model and direction. Outcomes follow the source attempt's result relative to the target's solo attempt rather than source success alone, improving in 71% of comparisons when the source stands above and regressing in 54% when it stands below. MetaKernelBench complements implementation-quality metrics by measuring same-problem cross-DSL kernel knowledge transfer.
- Abstract（参考訳）: 最近のGPUカーネル最適化エージェントは、知識ベースや蒸留スキルとして学んだことを保持している。
カーネルベンチマークは、各試行の実装を正確性とスピードで評価するが、保持された経験の再利用価値は未測定のままである。
我々はMetaKernelBenchを紹介し、あるカーネルドメイン固有言語(DSL)の試行から抽出された経験が、同じ問題に対する新たな試みを別のカーネルで改善するかどうかを測定する。
74の問題は6つのファミリーで融合されたサブグラフであり、それぞれがDSLでのみ異なるCuTe DSLとTIRxの変種である。
エージェントはまず各変種ソロを試行し、学習内容を自然言語のスキルに蒸留するように指示される。
スキルは、他のDSLで同じモデルによるスキル条件の試行に対する唯一の追加入力である。
それぞれのスキル条件の試行と、一致した目標ごとの予算の下で同じバリエーションを試行し、正確さとエンドツーエンドのランタイムを評価します。
6つのモデルと両方向のペアリフトは19%から+29%の範囲である。
4つのモデルがどちらの方向でも得られるが、回帰はすべてのモデルと方向の問題の16%から45%で発生する。
アウトカムは、ソースの成功単独ではなく、ターゲットの単独の試みに対するソースの試行の結果に従っており、ソースが上に立つと71%が改善し、ソースが下に立つと54%が後退する。
MetaKernelBenchは、同じプロブレムのクロスDSLカーネルの知識伝達を測定することで、実装品質のメトリクスを補完する。
関連論文リスト
- Optimizers for Diffusion Models: A Controlled Benchmark [75.49404880689772]
4つの拡散定式化にまたがる制御されたベンチマークを示す。
全ての勝者は3つの種で全予算で再訓練される。
Muon、MARS-M、SOAPはそれぞれ、少なくとも1つの拡散定式化で調整されたAdamWを破った。
論文 参考訳（メタデータ） (2026-09-19T14:41:28Z) - How Much of a Real Workload Can LLM-Generated GPU Kernels Actually Reach? [1.7396274240172123]
言語モデルは、PyTorchを上回るGPUカーネルを記述できるようになった。
フロンティアモデルは、91.1%の問題に対して正しいカーネルを生成し、3つの畳み込みを含む56の内22で独立に検証されたスピードアップを行う。
最高値は30.4%に達し、3つの検証されたスピードアップを達成し、ゼロの畳み込みを解決する。
論文 参考訳（メタデータ） (2026-09-17T20:26:23Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family [0.9740025522928777]
言語モデルでGPUカーネルを生成するシステムは、高い正確性率を報告している。
カーネルをいくつかのランダムな入力で1つの固定された形で実行し、出力が参照に近ければ受け入れる。
我々は12個の逆ゲートからなるコントラクトグレードの検証器を構築し、それぞれが正しいカーネルが満たさなければならないプロパティであり、そのいくつかはトレランスフリーである。
論文 参考訳（メタデータ） (2026-08-13T01:25:56Z) - Not All Skills Help: Measuring and Repairing Agent Knowledge [47.498075849595374]
ASSAYは、生成をキュレーションから分離するフレームワークである。
スキルごとの因果属性を小さな開発セットで計算する。
ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
論文 参考訳（メタデータ） (2026-06-13T16:37:38Z) - KernelBenchX: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels [41.03500441875287]
LLMベースのTritonカーネル生成は大きな関心を集めているが、基本的な実験的な疑問は未解決のままである。
本稿では,その正しさとハードウェア効率のカテゴリ認識による評価を通じて,この問題に対処するためのベンチマークであるKernelBenchXを提案する。
論文 参考訳（メタデータ） (2026-05-06T14:18:36Z) - Speed is Confidence [1.2720220587982818]
入賞回路とタイム・ツー・ファースト・スパイク・コーディングは、ニューロンが自信の表現として発火する時に暗黙的に扱う。
この原理をTiny Recursive Models (TRM) のアンサンブルに適用する。
Sudoku-Extremeでは、ストップファーストの選択は、確率平均化の91%に対して97%の精度を達成する。
論文 参考訳（メタデータ） (2026-01-27T01:43:59Z) - Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory [52.44029486173232]
Dynamic Cheatsheet(DC)は、永続的で進化するメモリを備えたブラックボックス言語モデルを提供する軽量フレームワークである。
DCは、蓄積した戦略、コードスニペット、および推論時に一般的な問題解決の洞察をモデルが保存し再利用することを可能にする。
このテストタイム学習は、明確な地味なラベルや人間のフィードバックを必要とせずに、幅広いタスクのパフォーマンスを大幅に向上させる。
論文 参考訳（メタデータ） (2025-04-10T17:57:33Z) - EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning [82.54669314604097]
EagleEyeは、適応型バッチ正規化に基づく、シンプルだが効率的な評価コンポーネントである。
異なる破砕された構造と最終的な精度の間に強い相関関係が明らかになる。
このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。
論文 参考訳（メタデータ） (2020-07-06T01:32:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。