論文の概要: Ask, Don't Equip: Question-Driven Coding Agents for Deep Kernel Optimization
- arxiv url: http://arxiv.org/abs/2611.03517v1
- Date: Mon, 02 Nov 2026 17:51:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 04:06:25.240292
- Title: Ask, Don't Equip: Question-Driven Coding Agents for Deep Kernel Optimization
- Title（参考訳）: Ask, Don't Equip: ディープカーネル最適化のための質問駆動コーディングエージェント
- Abstract要約: カーネル最適化のためのLLMエージェントは、構造自由なトレードオフの2つの端に位置する。
本稿では,既存のカーネルを演算子固有の知識なしで高速化する質問駆動エージェントであるKernelSeekを紹介する。
カーネル、ハーネス、質問銀行、およびすべてのトレースをリリースします。
- 参考スコア（独自算出の注目度）: 14.479050201687206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents for GPU kernel optimization sit at two ends of a structure-freedom tradeoff. Scripted agents fix what the model does at each step, via a learned policy, an optimization menu, or fixed roles, and are sample-efficient where the recipe applies and stall where it does not. Open-ended agents let a self-directed model mutate a population of kernels and pay for the freedom in trials: thousands of evaluations, repeated edits, and wrong candidates. Both respond to hard targets by equipping the agent with more: parsed profiler output, disassembly analysis, retrieval over documentation and libraries, and stores of lessons. We argue that both lack direction, a hypothesis about where the remaining gap is, and that a short question asked at the right moment supplies it without narrowing what the agent may do next. We present KernelSeek, a question-driven agent that makes an existing CUDA kernel faster with no operator-specific knowledge and no faster implementation to imitate: a general-purpose coding agent, a minimal harness that enforces a verifiable goal, and questions at decision points, first from a human, then from a bank the agent applies to itself. On the same task, evaluator, hardware, and week, a tool-rich autonomous agent built in the prevailing style plateaued at 0.50x FlashAttention-3 after 133 model-driven steps; KernelSeek reached 1.13x. It then produced dependency-free FlashAttention forward kernels for Hopper and Blackwell, single CUDA files with no CUTLASS, CuTe, cuBLAS, or cuDNN, correct on all 182 scenarios per architecture and 1.16x FlashAttention-3 and 1.46x FlashAttention-4 (geometric mean). Across 162 human messages and 11.5K agent tool calls, every large gain followed a question that moved the agent to a different layer of the system or rejected a claimed limit, never one that supplied information. We release the kernels, harness, question bank, and all traces.
- Abstract（参考訳）: GPUカーネル最適化のためのLLMエージェントは、構造自由なトレードオフの2つの端に位置する。
スクリプトエージェントは、学習されたポリシー、最適化メニュー、固定されたロールを通じて、各ステップでモデルが何をするかを修正する。
オープンエンドのエージェントは、自己指示型モデルでカーネルの集団を変異させ、数千の評価、繰り返し編集、間違った候補など、トライアルの自由を支払わせる。
プロファイラ出力のパース、分解分析、ドキュメントとライブラリの検索、レッスンの保存。
どちらも方向性がなく、残りのギャップがどこにあるのかという仮説がなく、適切なタイミングで質問された短い質問は、エージェントが次に何をするかを絞り込むことなく、それを提供する、と我々は主張する。
KernelSeekは、既存のCUDAカーネルをオペレータ固有の知識なしでより高速に、かつより高速に模倣する実装である:汎用コーディングエージェント、検証可能な目標を強制する最小限のハーネス、意思決定ポイントにおける質問、まず人間から、次にエージェントが自身に適用される銀行から提示する。
同じタスクでは、評価器、ハードウェア、週に渡り、一般的なスタイルで構築されたツールリッチな自律エージェントが、モデル駆動の133ステップの後、0.50倍のFlashAttention-3で高められ、KernelSeekは1.13倍に達した。
その後、Hopper と Blackwell 用の依存性のない FlashAttention 前方カーネル、CUTLASS, CuTe, cuBLAS, cuDNN のない単一のCUDAファイル、アーキテクチャ毎の 182 シナリオすべて、および 1.16x FlashAttention-3 と 1.46x FlashAttention-4 (幾何学的平均) を修正した。
162の人的メッセージと11.5Kのエージェントツールコールにまたがって、すべての大きな利得は、エージェントをシステムの別のレイヤに移動させたり、要求された制限を拒絶した質問に追従した。
カーネル、ハーネス、質問銀行、およびすべてのトレースをリリースします。
関連論文リスト
- Evolving Agent Teams [58.34711503048237]
既存のコーディングエージェントは、実世界のエキスパートが書いたカーネル上で局所最適化に収束する。
ローカルな最適化から逃れるマルチエージェントフレームワークであるEvolving Agent Teamsを紹介する。
1)各ローカルの最適度を診断し、エージェントのチームを再構成する中央スーパーバイザーと、(2)学習文書を構成する永続ファイルシステムとを備えている。
論文 参考訳（メタデータ） (2026-10-27T08:46:21Z) - InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? [3.2714937600999687]
InfraDevは現実世界のプルリクエストからMegatron-LM, vLLM, verlに構築された36のタスクのベンチマークである。
各タスクはエージェントに、多くのファイルにまたがる真の変更を再実装するよう要求する。
タスク間の依存関係やアーティファクトを再利用し,ストレージを52～57%削減し,Megatron-LMとvLLMでビルド時間を13～14%短縮する共有実行環境を設計する。
論文 参考訳（メタデータ） (2026-10-27T03:47:47Z) - Goal-Persistent Coding Agents as Scientific Performance Engineers: A Fixed-Radius Nearest-Neighbor Case Study [0.0]
符号化エージェントは、多くのツール使用ターンで永続的な目的を追求することができるが、汎用エージェントが厳密な科学的パフォーマンスエンジニアリングを行うことができるという証拠は依然として限られている。
既製のCodexとClaude Codeのエージェントが最寄りの粒子追跡を最適化するリポジトリスケールケーススタディを提案する。
論文 参考訳（メタデータ） (2026-09-25T20:32:33Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - AgentFold: Closed-Loop Agentic Search for Protein Folding Model Design [27.154390712714264]
我々は,折りたたみモデル開発を,実行可能なコードバリアントに対するクローズドループ検索として定式化するフレームワークであるAgentFoldを提案する。
一致した計算予算の下で、AgentFoldは、独立したCodex提案よりも最高のlDDTを7.5%改善する。
結果として生じる介入の痕跡は、反復的な経験的デザインパターンを示す。
論文 参考訳（メタデータ） (2026-08-27T07:38:16Z) - Harness Engineering for LLM-Driven GPU Kernel Generation [1.375573703671189]
大規模言語モデル(LLM)はGPUカーネル生成を支援するが、その実用性は生成したコードが確実に制約され、検証され、プロファイルされ、選択されるかどうかに依存する。
本稿では,MLSys 2026 FlashInfer AI Kernel Generation ContestにおけるLLM駆動型GPUカーネル最適化のためのハーネス中心システムを提案する。
論文 参考訳（メタデータ） (2026-07-20T14:14:14Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。