論文の概要: Correct First, Fast Second: What a Local 7B Code Model Can and Cannot Do for GPU Kernel Optimization
- arxiv url: http://arxiv.org/abs/2611.12079v2
- Date: Wed, 11 Nov 2026 09:46:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.882242
- Title: Correct First, Fast Second: What a Local 7B Code Model Can and Cannot Do for GPU Kernel Optimization
- Title(参考訳): GPUカーネル最適化のためにローカルな7Bコードモデルでできることとできないこと
- Abstract要約: 我々は、PyTorch演算子をカスタムカーネルに置き換える能力に、固定されたローカルにホストされた7Bコードモデルのインタラクション戦略がどの程度影響するかを検討する。
ゼロショットプロンプト,プロファイリング誘導プロンプト,実行フィードバックの反復的改善,マルチエージェントループの4つを比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study how much the interaction strategy around a fixed, locally hosted 7B-parameter code model (Qwen2.5-Coder-7B-Instruct) affects its ability to replace PyTorch operators with custom CUDA kernels. On 30 KernelBench tasks (levels 1-3, first 10 each, evaluated on a V100), we compare four regimes of increasing structure: zero-shot prompting, profiling-guided prompting, iterative refinement on execution feedback, and a multi-agent loop (analysis, retrieval, generation, evaluation, feedback triage) in which the same model fills four roles around a non-LLM evaluator. Three findings stand out. (1) Correctness, not speed, is the binding constraint: even correct generated kernels average 0.97-0.99x the speed of eager PyTorch, because a 7B model cannot out-write cuBLAS/cuDNN on dense GEMM and convolution; the only real wins are fused memory-bound epilogues. (2) The best strategy depends on difficulty: profiling-guided prompting is strongest overall (43% correct, 27% faster than baseline), but the agent loop is the only method that solves any level-2 fusion problem (3/10 vs. 0/10 for all others). (3) Naive agentic scaffolding is actively harmful: our first agent scored 3% correct, below zero-shot's 30%, and the decisive repairs were matching the agent's ambition to the model's competence and spending compute on best-of-n sampling under a real execution oracle (3% to 33% correct from n=1 to n=8), not on more reasoning steps.
- Abstract(参考訳): 我々は,PyTorch演算子をカスタムCUDAカーネルに置き換える能力に,固定されたローカルホスト型7Bパラメータモデル(Qwen2.5-Coder-7B-Instruct)がどの程度影響するかを検討する。
ゼロショットプロンプト,プロファイリング誘導プロンプト,実行フィードバックの反復的改善,マルチエージェントループ(分析,検索,生成,評価,フィードバックトリアージ)という,LLM以外の評価器で同じモデルが4つの役割を担っている4つの構造を比較検討した。
3つの発見がある。
なぜなら、7BモデルではGEMMと畳み込みでcuBLAS/cuDNNを上書きできないからである。
2) プロファイリング誘導プロンプトは総合的に最強(43%, ベースラインより27%速い)であるが, エージェントループはレベル2融合問題を解く唯一の方法である(3/10 vs. 0/10)。
3%から33%の正解率,0ショットの30%以下で有意な改善が達成され, 実検眼下でのベスト・オブ・nサンプリング(n=1からn=8まで, 3%から33%の正解率)に充てられた。
関連論文リスト
- Policy as Code: A Coroutine-Bridge Harness for Fast-Reasoning Reliability on CAR-bench [0.0]
CAR-benchは、ツール使用エージェントが現実の不確実性の下で信頼性を維持しているかどうかを評価する。
モデルの唯一のアクションは、評価ツール交換所間で再開されるPythonプログラムを出力することである。
論文 参考訳(メタデータ) (2026-09-24T08:55:13Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳(メタデータ) (2026-08-31T06:35:07Z) - ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models [2.3004655342211078]
大規模言語モデルは、もっともらしいバックエンドコードを生成するが、シングルパスパラダイムは、正確性や実行時の信頼性を保証するものではない。
バックエンドコードの中心に実行ベースのバリデーションを置くマルチエージェントフレームワークであるExecuGraphを紹介します。
エージェントごとのアブレーション、再試行予算の掃除、エラークラス分類、およびテストソース監査が報告されている。
論文 参考訳(メタデータ) (2026-06-18T05:58:17Z) - CRANE: Constrained Reasoning Injection for Code Agents via Nullspace Editing [5.661334639541121]
CRANEは、シンキング・インストラクトデルタを、インストラクトバックボーンの候補推論編集のプールとして扱う、トレーニング不要なパラメータ編集手法である。
ペア化されたインストラクトとシンキングのチェックポイントを組み合わせることで、CRANEはどちらのモデルよりも強力なゲインを提供する。
論文 参考訳(メタデータ) (2026-05-13T20:09:35Z) - KernelBenchX: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels [41.03500441875287]
LLMベースのTritonカーネル生成は大きな関心を集めているが、基本的な実験的な疑問は未解決のままである。
本稿では,その正しさとハードウェア効率のカテゴリ認識による評価を通じて,この問題に対処するためのベンチマークであるKernelBenchXを提案する。
論文 参考訳(メタデータ) (2026-05-06T14:18:36Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。
それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。
我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
論文 参考訳(メタデータ) (2025-11-04T18:27:39Z) - S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。
S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文 参考訳(メタデータ) (2025-02-20T09:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。