論文の概要: D2K-Bench: Can LLM Agents Turn Expert Designs into Efficient GPU Kernels?

• arxiv url: http://arxiv.org/abs/2610.03226v1
• Date: Fri, 02 Oct 2026 12:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.372699
• Title: D2K-Bench: Can LLM Agents Turn Expert Designs into Efficient GPU Kernels?
• Title（参考訳）: D2K-Bench: LLMエージェントはエキスパートデザインを効率的なGPUカーネルに変えることができるか?
• Abstract要約: D2K-Benchは、専門家設計ガイダンスを効率的にGPUカーネルに変換する方法を測定する。 NVIDIA B200 GPUの5モデル全体で、ガイダンスは130モデルとタスクのペアを93.1%から98.5%に修正する。 3つのフロンティアモデルにおいて、両方の実行中の26タスクすべてに対して正しい提案がなされた場合、平均的なスピードアップは1.69Times$から2.49times$に増加する。
• 参考スコア（独自算出の注目度）: 32.17680364607973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GPU kernels generated by large language model (LLM) agents can remain less efficient than expert implementations, but runtime alone does not reveal how the gap relates to design discovery and implementation. We introduce D2K-Bench, a diagnostic benchmark of 26 tasks and 85 workloads that measures how effectively agents translate expert design guidance into efficient GPU kernels. The guidance covers L1: high-level algorithmic insights, L2: dataflow design, and L3: low-level optimization tricks, including dependencies among these levels. Pairwise runs with and without guidance share task descriptions, workloads, tools, hardware, and a 350-turn budget. Complementary assessments examine independently proposed designs and the design properties implemented in generated code. Across five models on NVIDIA B200 GPUs, guidance raises correctness over 130 model-task pairs from 93.1% to 98.5% and increases the Performance Score over all 26 tasks from 1.46 to 1.95. For the three frontier models with correct submissions on all 26 tasks in both runs (GPT-6-Astra, Claude-Opus-4.8, and GPT-5.6-Sol), geometric mean speedup increases from $1.69\times$ to $2.49\times$. Across all five models, the mean combined implementation score increases from 57 to 70 out of 100. These results show the value of expert design guidance while identifying design properties that remain unimplemented.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントによって生成されたGPUカーネルは、専門家の実装よりも効率が低い。 D2K-Benchは26のタスクと85のワークロードの診断ベンチマークで、エージェントが専門家の設計ガイダンスを効率的にGPUカーネルに変換する方法を測定する。 ガイダンスでは、L1: ハイレベルアルゴリズムの洞察、L2: データフローの設計、L3: これらのレベル間の依存関係を含む低レベル最適化のトリックを取り上げている。 Pairwiseはタスク記述、ワークロード、ツール、ハードウェア、350ターンの予算を共有する。 補完的な評価は、独立に提案された設計と、生成されたコードに実装された設計特性を調べる。 NVIDIA B200 GPUの5つのモデルにまたがるガイダンスでは、130モデルとタスクのペアが93.1%から98.5%に修正され、26タスクすべてでパフォーマンススコアが1.46から1.95に向上した。 両方の走行中の26タスク(GPT-6-Astra、Claude-Opus-4.8、GPT-5.6-Sol)を正しく入力した3つのフロンティアモデルでは、幾何平均スピードアップは1.69\times$から2.49\times$に増加した。 5つのモデル全体で、合計実装スコアは、100点中57点から70点に増加した。 これらの結果は、まだ実装されていない設計特性を特定しながら、専門家による設計指針の価値を示している。

関連論文リスト

• EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
  3つの評価次元を持つベンチマークスイートを導入する。 本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T12:12:09Z)
• Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU [38.81440160993858]
  ディープラーニングアルゴリズムを新しいハードウェアアクセラレータに移植するには、開発者はコードベースのすべてのTritonカーネルに同じ低レベル最適化を適用する必要がある。 我々は、このプロセスをIntel GPU向けに自動化するマルチステージLCM駆動パイプラインであるXe-Forgeを紹介する。 キュレートされた知識ベースは、LLMトレーニングデータにはないIntel GPU制約を符号化し、モデルをアーキテクチャ上有効なバウンダリ内に保持する。
  論文  参考訳（メタデータ） (2026-04-16T20:21:01Z)
• Improving Efficiency of GPU Kernel Optimization Agents using a Domain-Specific Language and Speed-of-Light Guidance [2.6106833542109693]
  エージェントが操作する抽象化レベルについて、2つの重要な観察を行う。 CUTLASSが支援するGPUカーネル用のコンパイラを備えたDSLであるCUTLASSでこれらの原則を実装します。 我々は、SOLガイダンスを使用して、ヘッドルームを推定し、最適化試験をガイドし、SOLに近い問題を優先順位付けし、ベンチマークをゲームするカーネルにフラグを付ける。
  論文  参考訳（メタデータ） (2026-03-30T21:16:39Z)
• Fine-Tuning GPT-5 for GPU Kernel Generation [5.109141377873154]
  本稿では,フロンティアモデルの強化学習のための環境とツールについて述べる。 単一触覚設定では、微調整されたモデルにより、カーネルの正しさが43.7%から77.0%に向上する。 完全なコーディングエージェントに統合されると、拡張されたKernelBenchスイートで97.4%の問題を解決することができる。
  論文  参考訳（メタデータ） (2026-02-11T16:22:54Z)
• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。