論文の概要: ModelBlaster: Closing the Performance Gap through Learning-Augmented Agents Across Models, Kernels and Hardware Backends
- arxiv url: http://arxiv.org/abs/2611.04104v1
- Date: Tue, 03 Nov 2026 00:25:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 01:56:16.646232
- Title: ModelBlaster: Closing the Performance Gap through Learning-Augmented Agents Across Models, Kernels and Hardware Backends
- Title（参考訳）: ModelBlaster: モデル、カーネル、ハードウェアバックエンド間の学習強化エージェントによるパフォーマンスギャップの閉鎖
- Abstract要約: 異種SIMDおよびSIMTアクセラレーター間でデータ並列カーネルとモデル全体を最適化するフレームワークであるModelBlasterを提案する。
ModelBlaster は Kernel Levels 1, 2, 3, 1.69x on B200Bench 1 and 2 で 1.85x, 5.58x, 5.18x の幾何的なスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 2.6767595151534724
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optimizing accelerator code across hardware architectures is difficult. ML compilers search predefined spaces of schedules and micro-kernels, while LLM-guided optimization can explore alternative algorithms, operator decompositions, and hardware-specific techniques. However, existing LLM agents typically target a single programming interface, toolchain, or accelerator family, focus on kernel-level optimization without model-level transforms, and offer limited reuse of experience across hardware targets. We present ModelBlaster, a Memory-Augmented In-Context Reinforcement Learning (MAIC-RL) framework for optimizing data-parallel kernels and whole models across heterogeneous SIMD and SIMT accelerators. Its mutable policy is a persistent knowledge base updated at inference time by Actor-Critic Textual Gradient Descent (AC-TGD). The knowledge base maps performance states to actions, outcomes, and constraints, enabling experience reuse across kernels, models, and hardware targets. A model-level optimizer uses kernel-level knowledge to inform whole-model decisions. The same optimization loop and knowledge schema support CUDA on NVIDIA GPUs, OpenCL on Qualcomm GPUs, and RVV intrinsics on RISC-V vector cores, with only lowering and measurement layers specific to each target. Compared with PyTorch, ModelBlaster achieves geometric-mean speedups of 1.85x, 5.58x, and 5.18x on KernelBench Levels 1, 2, and 3, and 1.69x on SOL-ExecBench Levels 1 and 2 on a B200 GPU. On Qualcomm Adreno GPUs, it achieves 5.8x over the vendor SDK and 1.7x over Apache TVM; on RISC-V vector cores, it achieves 2.7x over ExecuTorch with XNNPACK across 70 KernelBench problems.
- Abstract（参考訳）: ハードウェアアーキテクチャ全体にわたるアクセラレータコードの最適化は難しい。
MLコンパイラはスケジュールとマイクロカーネルの既定空間を探索し、LLM誘導最適化は代替アルゴリズム、演算子分解、ハードウェア固有の技術を探究することができる。
しかし、既存のLLMエージェントは通常、単一のプログラミングインターフェース、ツールチェーン、またはアクセルファミリーをターゲットにしており、モデルレベルの変換なしでカーネルレベルの最適化に重点を置いており、ハードウェアターゲット間のエクスペリエンスの限定的な再利用を提供している。
メモリ拡張型インコンテキスト強化学習(MAIC-RL)フレームワークであるModelBlasterを提案する。
その変更可能なポリシーは、Actor-Critic Textual Gradient Descent (AC-TGD)によって推論時に更新された永続的な知識ベースである。
知識ベースは、パフォーマンスステートをアクション、結果、制約にマッピングし、カーネル、モデル、ハードウェアターゲット間のエクスペリエンスの再利用を可能にする。
モデルレベルのオプティマイザは、カーネルレベルの知識を使用してモデル全体の決定を通知する。
同じ最適化ループと知識スキーマは、NVIDIA GPUのCUDA、Qualcomm GPUのOpenCL、RISC-VベクターコアのRVVイントロニクスをサポートし、各ターゲットに特有の低下層と測定層のみをサポートする。
PyTorchと比較すると、ModelBlasterはKernelBench Level 1, 2, 3, 1.69x on SOL-ExecBench Level 1 and 2 on a B200 GPUで1.85x, 5.58x, 5.18xの幾何平均スピードアップを達成する。
Qualcomm Adreno GPUではベンダーSDKの5.8倍、Apache TVMの1.7倍、RISC-Vベクトルコアの2.7倍、70のKernelBench問題に対してXNNPACKでExecuTorchの2.7倍を達成している。
関連論文リスト
- Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU [38.81440160993858]
ディープラーニングアルゴリズムを新しいハードウェアアクセラレータに移植するには、開発者はコードベースのすべてのTritonカーネルに同じ低レベル最適化を適用する必要がある。
我々は、このプロセスをIntel GPU向けに自動化するマルチステージLCM駆動パイプラインであるXe-Forgeを紹介する。
キュレートされた知識ベースは、LLMトレーニングデータにはないIntel GPU制約を符号化し、モデルをアーキテクチャ上有効なバウンダリ内に保持する。
論文 参考訳（メタデータ） (2026-04-16T20:21:01Z) - ARGUS: Agentic GPU Optimization Guided by Data-Flow Invariants [12.49256588033198]
LLMベースのコーディングエージェントは、機能的に正しいGPUカーネルを生成することができるが、その性能は、重要な計算に関する手動最適化ライブラリよりもはるかに低いままである。
データフロー不変量を通じてこの問題に対処するエージェントフレームワークであるArgusを紹介します。
我々は、GEMM、フラッシュアテンション、MoEカーネルにわたるAMD MI300X GPU上でArgusを評価する。
論文 参考訳（メタデータ） (2026-04-16T15:49:31Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - KernelSkill: A Multi-Agent Framework for GPU Kernel Optimization [37.008713142905336]
本稿では,デュアルレベルメモリアーキテクチャを備えたマルチエージェントフレームワークであるKernelSkillを紹介する。
Kernel Levels 1-3では、KernelSkillはTorch Eagerよりも100%の成功率と平均速度5.44xBench、2.82x、1.92xを達成した。
論文 参考訳（メタデータ） (2026-03-10T13:43:38Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - KernelBlaster: Continual Cross-Task CUDA Optimization via Memory-Augmented In-Context Reinforcement Learning [3.4998382481249286]
我々は、テストハーネス、検証コンポーネント、再現可能な評価を伴って、オープンソースのエージェントフレームワークとしてKernelBlasterをリリースした。
提案手法は, KernelBench Levels 1, 2, 3 の平均速度をそれぞれ 1.43x, 2.50x, 1.50x とする。
論文 参考訳（メタデータ） (2026-02-15T19:48:43Z) - Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems [1.2289544895833646]
マルチエージェントPyTorch最適化システムを比較するためのフレームワークを提案する。
エラー修正エージェントと組み合わせた場合,エクスプロイトヘビー戦略が最善であることを示す。
最も優れた実装は、H100 GPU上で平均2.88倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-11-21T05:37:38Z) - KScaNN: Scalable Approximate Nearest Neighbor Search on Kunpeng [46.35664429179457]
既存のx86 ANNSアルゴリズムをARMプラットフォームに移植すると、性能が大幅に低下する。
我々は、Kunpeng 920 ARMアーキテクチャ用に設計された新しいANNSアルゴリズムであるKScaNNを紹介する。
論文 参考訳（メタデータ） (2025-11-05T09:01:32Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。