論文の概要: HIERA: Workload-Aware Planning Across Implementation Spaces for GPU Kernel Optimization

• arxiv url: http://arxiv.org/abs/2608.21157v1
• Date: Fri, 21 Aug 2026 14:29:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.582464
• Title: HIERA: Workload-Aware Planning Across Implementation Spaces for GPU Kernel Optimization
• Title（参考訳）: HIERA:GPUカーネル最適化のための実装スペース全体のワークロード対応計画
• Abstract要約: カーネル最適化のための階層型検索空間計画フレームワークであるtextscHIERAを提案する。 textscHIERAは、拡張されたタスク仕様を構築し、PyTorch演算子、ライブラリ、カスタムカーネルにまたがる適切な実装空間を選択する。 実験の結果、textscHIERAは既存のトレーニング不要の手法よりも全体的な実装の洗練、妥当性、最適化性能が向上した。
• 参考スコア（独自算出の注目度）: 17.600449573236194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-performance GPU kernels underpin modern deep learning and scientific computing. As workloads become increasingly diverse and GPU hardware evolves rapidly, developing efficient methods for automated GPU kernel generation and optimization has become increasingly important. Existing LLM-based methods typically optimize within a fixed implementation space, limiting either optimization flexibility or search efficiency. We propose \textsc{HIERA}, a hierarchical search-space planning framework for GPU kernel optimization. \textsc{HIERA} constructs contract-augmented task specifications, selects an appropriate implementation space across PyTorch operators, CUDA libraries, and custom CUDA kernels, and uses profiling feedback and expert knowledge to guide structured iterative refinement. Experiments on KernelBench across multiple various workload levels and base LLMs show that \textsc{HIERA} delivers stronger overall implementation validity, sample efficiency, and optimization performance than existing training-free methods, while remaining competitive with the training-based CUDA-L1 without additional model training. A case study on a specialized stencil operator from scientific computing further achieves a \(1.53\times\) speedup over cuDNN, demonstrating the potentiality of the general framework beyond standard machine-learning workloads.
• Abstract（参考訳）: 高性能GPUカーネルは、現代のディープラーニングと科学計算の基盤となっている。 ワークロードが多様化し、GPUハードウェアが急速に進化するにつれて、GPUカーネルの自動生成と最適化のための効率的な方法の開発がますます重要になっている。 既存のLLMベースのメソッドは通常、固定された実装空間内で最適化され、最適化の柔軟性または探索効率が制限される。 本稿では,GPUカーネル最適化のための階層型検索空間計画フレームワークであるtextsc{HIERA}を提案する。 契約拡張されたタスク仕様を構築し、PyTorch演算子、CUDAライブラリ、カスタムCUDAカーネルにまたがる適切な実装空間を選択し、プロファイリングフィードバックとエキスパート知識を使用して構造化反復洗練を導く。 KernelBench の複数のワークロードレベルとベース LLM に対する実験では,既存のトレーニングフリーメソッドよりも,‘textsc{HIERA} が全体的な実装妥当性,サンプル効率,最適化性能を向上する一方で,モデルトレーニングを伴わないトレーニングベース CUDA-L1 との競争力は維持されている。 科学計算からの特殊ステンシル演算子に関するケーススタディでは、cuDNN上での(1.53\times\)スピードアップをさらに達成し、標準的な機械学習ワークロードを超えて、一般的なフレームワークの可能性を示している。

関連論文リスト

• CuTeGen: An LLM-Based Agentic Framework for Generation and Optimization of High-Performance GPU Kernels using CuTe [7.881930340027473]
  CuTeGenはGPUカーネルの自動生成と最適化のためのフレームワークである。 カーネル開発を構造化された生成-テスト-定義ワークフローとして扱う。 本稿では, CuTeGen が機能的に正しいカーネルを生成し, 最適化されたライブラリ実装と比較して, 競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-01T23:55:23Z)
• Making LLMs Optimize Multi-Scenario CUDA Kernels Like Experts [25.264078143000045]
  現在の自動カーネル最適化手法は、科学計算におけるスパースマトリクス操作のようなより広い領域を見渡しながら、機械学習アプリケーションに焦点を当てている。 本稿では,MSBenchを導入したマルチシナリオ設定の体系的評価の欠如に対処する。 このベンチマークに基づいて、GPUプロファイリング情報を活用し、完全なコンパイルおよび実行ツールチェーンを自動構築する、カーネル最適化のためのハードウェア対応システムであるMSMasterを紹介する。
  論文  参考訳（メタデータ） (2026-03-07T12:22:43Z)
• CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
  Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。 AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:05Z)
• KernelBlaster: Continual Cross-Task CUDA Optimization via Memory-Augmented In-Context Reinforcement Learning [3.4998382481249286]
  我々は、テストハーネス、検証コンポーネント、再現可能な評価を伴って、オープンソースのエージェントフレームワークとしてKernelBlasterをリリースした。 提案手法は, KernelBench Levels 1, 2, 3 の平均速度をそれぞれ 1.43x, 2.50x, 1.50x とする。
  論文  参考訳（メタデータ） (2026-02-15T19:48:43Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Astra: A Multi-Agent System for GPU Kernel Performance Optimization [10.715861478214961]
  我々はGPUカーネル最適化のための最初のマルチエージェントシステムであるAstraを紹介する。 Astra内では、コード生成、プロファイリング、そして正確かつ高性能なカーネルの生成計画を通じて、特殊なエージェントが協力する。
  論文  参考訳（メタデータ） (2025-09-09T08:39:50Z)
• CUDA-LLM: LLMs Can Write Efficient CUDA Kernels [9.287036563375617]
  大規模言語モデル(LLM)は汎用コード生成において強力な機能を示している。 我々は,textbfFeature SearchReinforcement (FSR) FSRという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-10T10:51:03Z)
• CompilerDream: Learning a Compiler World Model for General Code Optimization [58.87557583347996]
  汎用コード最適化のためのモデルベース強化学習手法であるCompilerDreamを紹介する。 最適化パスの固有の特性を正確にシミュレートするコンパイラの世界モデルと、このモデルで訓練されたエージェントから、効率的な最適化戦略を生成する。 さまざまなデータセットを網羅し、LLVMのビルトイン最適化や、値予測とエンドツーエンドコード最適化の両方の設定における最先端メソッドを超越している。
  論文  参考訳（メタデータ） (2024-04-24T09:20:33Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。