論文の概要: Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU

• arxiv url: http://arxiv.org/abs/2605.26118v1
• Date: Thu, 16 Apr 2026 20:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.484677
• Title: Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU
• Title（参考訳）: Xe-Forge: Intel GPUのマルチステージLLMカーネル最適化
• Authors: Marcin Spoczynski, Daniel Fleischer, Moshe Berchansky, Gabriela Ben-Melech Stan, Shira Guskin, Weilin Xu, Adam Siemieniuk, Alexander Heinecke,
• Abstract要約: ディープラーニングアルゴリズムを新しいハードウェアアクセラレータに移植するには、開発者はコードベースのすべてのTritonカーネルに同じ低レベル最適化を適用する必要がある。 我々は、このプロセスをIntel GPU向けに自動化するマルチステージLCM駆動パイプラインであるXe-Forgeを紹介する。 キュレートされた知識ベースは、LLMトレーニングデータにはないIntel GPU制約を符号化し、モデルをアーキテクチャ上有効なバウンダリ内に保持する。
• 参考スコア（独自算出の注目度）: 38.81440160993858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Porting deep learning algorithms to new hardware accelerators requires developers to repeatedly apply the same low-level optimizations -- quantization, memory access coalescing, tile size tuning, and architecture-specific workarounds -- to every Triton kernel in their code-base. This manual, repetitive effort is a major bottleneck: each kernel demands the same cycle of trial-and-error profiling against hardware constraints that vary across devices, yet the underlying optimization patterns remain largely consistent. We present Xe-Forge, a multi-stage LLM-powered pipeline that automates this process for Intel GPU. Given a functionally correct Triton kernel, the system applies up to nine optimization stages -- from algorithmic restructuring and operator fusion through block pointer modernization, GPU-specific tuning, and open-ended discovery -- each driven by a Chain-of-Verification-and-Refinement (CoVeR) agent that generates candidates, validates them on real hardware, and iterates on failures. A curated knowledge base encodes Intel GPU constraints (power-of-two warp counts, GRF modes, SLM sizing) that are absent from LLM training data, keeping the model within architecturally valid bounds. We evaluate Xe-Forge on 97 Level-2 KernelBench kernels and Flash Attention on the Intel Arc Pro B70, achieving a 1.17x geometric mean speedup over PyTorch eager with 67% of kernels improving, nine kernels exceeding 5x (up to 82x), and 2--13.3x speedups on Flash Attention across all tested configurations without regression -- demonstrating that structured domain knowledge with hardware-in-the-loop verification can systematically eliminate the repetitive porting effort that currently gates algorithm deployment on new accelerators.
• Abstract（参考訳）: ディープラーニングアルゴリズムを新しいハードウェアアクセラレータに移植するには、開発者が同じ低レベルの最適化 – 量子化、メモリアクセスの合体化、タイルサイズチューニング、アーキテクチャ固有の回避 — を、コードベース内のすべてのTritonカーネルに繰り返し適用する必要がある。 それぞれのカーネルは、デバイス毎に異なるハードウェア制約に対して、試行錯誤プロファイリングのサイクルを同じサイクルで要求します。 我々は、このプロセスをIntel GPU向けに自動化するマルチステージLCM駆動パイプラインであるXe-Forgeを紹介する。 関数的に正しいTritonカーネルが与えられると、アルゴリズムの再構築やブロックポインターの近代化、GPU固有のチューニング、オープンな発見など、9つの最適化段階が適用される。 キュレートされた知識ベースは、LLMトレーニングデータにないIntel GPU制約(パワーオブ2ワープ数、GRFモード、SLMサイズ)を符号化し、モデルをアーキテクチャ上妥当なバウンダリ内に保持する。 97 Level-2 KernelBenchカーネルのXe-ForgeとIntel Arc Pro B70でのFlashアテンションを評価し、PyTorch上の1.17倍の幾何平均スピードアップを実現し、カーネルの67%の改善、9カーネルの5倍(最大82倍)、Flash上の2-13.3倍スピードアップを実現した。

関連論文リスト

• KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators [5.703659894138959]
  生産推定は、不均一な加速器の混合をますます狙う。 それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。 我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T23:48:55Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• K-Search: LLM Kernel Generation via Co-Evolving Intrinsic World Model [57.440609834690385]
  既存のアプローチでは、進化ループ内の高速コードジェネレータとして、LLM(Large Language Models)を扱います。 我々は,共進化的世界モデルによる検索を提案し,この手法に基づいてK-Searchを構築する。 GQA, MLA, MoE カーネルを含む多種多様な複雑なカーネル上で K-Search を評価する。
  論文  参考訳（メタデータ） (2026-02-22T11:06:22Z)
• Fine-Tuning GPT-5 for GPU Kernel Generation [5.109141377873154]
  本稿では,フロンティアモデルの強化学習のための環境とツールについて述べる。 単一触覚設定では、微調整されたモデルにより、カーネルの正しさが43.7%から77.0%に向上する。 完全なコーディングエージェントに統合されると、拡張されたKernelBenchスイートで97.4%の問題を解決することができる。
  論文  参考訳（メタデータ） (2026-02-11T16:22:54Z)
• AKG kernel Agent: A Multi-Agent Framework for Cross-Platform Kernel Synthesis [13.239454996851771]
  現代のAIモデルは高性能な計算カーネルを必要とする。 Akgカーネルエージェント(AI駆動のカーネルジェネレータ)は複数のドメイン固有言語をサポートするように設計されている。 システムのモジュール設計により、バックエンドDSLとハードウェアターゲットの迅速な統合が可能になる。 システムはPyTorch Eagerベースライン上で平均1.46ドルのスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-12-29T12:42:05Z)
• GPU Performance Portability needs Autotuning [0.0]
  LLMは複雑さが増し、最先端のパフォーマンスを達成するには、アルゴリズム、ソフトウェア、ハードウェア間の密な共同設計が必要である。 JIT(Just-in-time)コンパイルと包括的カーネルパラメータの自動チューニングを併用する。 我々の結果は、GPUベンダー間のモデルポータビリティをアンロックするための有望なパスとして、オートチューニングを強調しています。
  論文  参考訳（メタデータ） (2025-04-30T12:57:21Z)
• FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness [0.0]
  FlashAttentionのようなメソッドは、不要なデータ転送を避けることによって、ネイティブのPyTorchよりもx6パフォーマンスの向上を実現している。 本稿では、ディープラーニングモデルのためのニューラルネットワークダイアグラムを拡張し、GPU階層間のリソース使用量とタスクの分散を検討する。 本研究では,中間レベルの擬似コードをダイアグラムで表現する手法を開発し,ハードウェア認識アルゴリズムをステップバイステップで導出できるようにする。
  論文  参考訳（メタデータ） (2024-12-04T13:52:04Z)
• Accelerating Deep Learning Model Inference on Arm CPUs with Ultra-Low Bit Quantization and Runtime [57.5143536744084]
  ディープラーニングモデルの高性能化は、高い計算、ストレージ、電力要求を犠牲にしている。 我々はDeplite Neutrinoを導入し、DepliteはArmベースのプラットフォームに超低ビット量子化モデルを展開する。
  論文  参考訳（メタデータ） (2022-07-18T15:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。