論文の概要: KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators
- arxiv url: http://arxiv.org/abs/2606.02963v1
- Date: Mon, 01 Jun 2026 23:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.644789
- Title: KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators
- Title（参考訳）: KForge: AIアクセラレータのためのLLM駆動クロスプラットフォームカーネル生成
- Authors: Taras Sereda, Burak Bartan, Ankita Nayak, Tom St. John, Natalie Serrino, Zain Asgar,
- Abstract要約: 生産推定は、不均一な加速器の混合をますます狙う。
それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。
我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
- 参考スコア（独自算出の注目度）: 5.703659894138959
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Production inference increasingly targets a heterogeneous mix of accelerators. Agentic pipelines interleave reasoning, tool calls, and multi-agent coordination, each with distinct compute and memory profiles. For optimal efficiency, each stage should run on the accelerator best suited to it. This creates a systems challenge: each pipeline now requires high-performance kernels across a growing set of hardware backends and programming models. Writing these kernels by hand is time-consuming, demands deep low-level expertise, and does not scale as kernel complexity grows. Recently, Large Language Models (LLMs) have been leveraged for automatic kernel generation, but challenges in low-level code generation and cross-backend generalization persist. We present KForge, a cross-platform framework built around an iterative refinement loop driven by two collaborating LLM-based agents: a generation agent that produces and progressively refines kernels using compilation and correctness feedback, and a performance-analysis agent that interprets profiling data, from programmatic APIs to GUI-based tools, and emits recommendations that steer the next round of synthesis. The loop alternates between functional passes, which drive a candidate to correctness, and optimization passes, which close the performance gap to hand-tuned baselines. We evaluate KForge on two backends with very different baseline reference availability. On NVIDIA B200, KForge achieves a 2.12$\%$ improvement in end-to-end throughput compared to TensorRT-LLM on the gpt-oss-20b inference speed benchmark. On Intel Arc B580, KForge generates Triton kernels achieving a 5.13$\times$ geometric mean speedup over the faster of PyTorch eager and torch.compile on 37 GEMM + tail-ops workloads from KernelBench Level 2, primarily via operator fusion and mixed-precision execution.
- Abstract（参考訳）: 生産推定は、不均一な加速器の混合をますます狙う。
エージェントパイプラインは推論、ツールコール、マルチエージェント調整をインターリーブし、それぞれ異なる計算とメモリプロファイルを持つ。
最適な効率のために、各ステージはアクセルに最も適したアクセル上で実行されるべきである。
それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。
これらのカーネルを手作業で書くのは時間がかかり、より低レベルの専門知識が必要であり、カーネルの複雑さが増大するにつれてスケールしない。
近年,Large Language Models (LLM) がカーネルの自動生成に活用されている。
コンパイルと正当性フィードバックを用いてカーネルを段階的に洗練する生成エージェントと,プログラムAPIからGUIベースのツールに至るまで,プロファイリングデータを解釈し,次の合成ラウンドを推し進めるためのレコメンデーションを発行するパフォーマンス分析エージェントである。
ループは機能パスと、正しい候補を駆動する機能パスと、手作業によるベースラインのパフォーマンスギャップを埋める最適化パスを交互に行う。
ベースライン参照の可利用性が非常に異なる2つのバックエンド上でKForgeを評価した。
NVIDIA B200では、KForgeはgpt-oss-20b推論速度ベンチマークのTensorRT-LLMと比較して、エンドツーエンドのスループットが2.12$\%改善されている。
Intel Arc B580では、KForgeは5.13$\times$幾何平均速度をPyTorchの高速で達成し、KernelBench Level 2から37 GEMM + tail-opsワークロードにコンパイルする。
関連論文リスト
- AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。
計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。
AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
論文 参考訳（メタデータ） (2026-03-12T12:46:42Z) - StitchCUDA: An Automated Multi-Agents End-to-End GPU Programing Framework with Rubric-based Agentic Reinforcement Learning [26.264303471292845]
エンドツーエンドGPUプログラム生成のためのマルチエージェントフレームワークであるStitchCUDAを提案する。
実験の結果、StitchCUDAはエンドツーエンドのプログラミングタスクで100%近く成功し、マルチエージェントベースラインの1.72倍の高速化を実現している。
論文 参考訳（メタデータ） (2026-03-03T06:04:49Z) - AscendCraft: Automatic Ascend NPU Kernel Generation via DSL-Guided Transcompilation [8.878393510726008]
本稿では,自動アセンドCカーネル生成のためのDSL誘導型アプローチであるAscendCraftを提案する。
AscendingCraftは98.1%のコンパイル成功と90.4%の機能的正しさを達成した。
また、DSL誘導トランスコンパイルにより、LLMが正しいNPUカーネルと競合するNPUカーネルの両方を生成することができることを示す。
論文 参考訳（メタデータ） (2026-01-30T09:34:59Z) - AKG kernel Agent: A Multi-Agent Framework for Cross-Platform Kernel Synthesis [13.239454996851771]
現代のAIモデルは高性能な計算カーネルを必要とする。
Akgカーネルエージェント(AI駆動のカーネルジェネレータ)は複数のドメイン固有言語をサポートするように設計されている。
システムのモジュール設計により、バックエンドDSLとハードウェアターゲットの迅速な統合が可能になる。
システムはPyTorch Eagerベースライン上で平均1.46ドルのスピードアップを達成する。
論文 参考訳（メタデータ） (2025-12-29T12:42:05Z) - An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。
クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。
我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
論文 参考訳（メタデータ） (2025-01-23T08:20:47Z) - Kernel Looping: Eliminating Synchronization Boundaries for Peak Inference Performance [2.747566636546902]
カーネルループは、現代のデータフローアーキテクチャにおいて可能なユニークな層レベルの融合と、言語モデルで繰り返し見られる層構造を利用する。
我々は,AIの商用データフローアクセラレータであるSambaNova SN40L Reconfigurable Dataflow Unit(RDU)のカーネルループを評価する。
論文 参考訳（メタデータ） (2024-10-31T06:32:47Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳（メタデータ） (2020-02-06T08:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。