論文の概要: Record-Remix-Replay: Hierarchical GPU Kernel Optimization using Evolutionary Search

• arxiv url: http://arxiv.org/abs/2604.11109v1
• Date: Mon, 13 Apr 2026 07:25:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.395982
• Title: Record-Remix-Replay: Hierarchical GPU Kernel Optimization using Evolutionary Search
• Title（参考訳）: Record-Remix-Replay:進化探索を用いた階層型GPUカーネル最適化
• Authors: Daniel Nichols, Konstantinos Parasyris, Caetano Melone, Tal Ben-Nun, Giorgis Georgakoudis, Harshitha Menon,
• Abstract要約: Record-Remix-Replay (R3)は、進化的検索、ベイズ最適化、レコード-リプレイコンパイル技術を組み合わせた階層的な最適化フレームワークである。 Record-Remix-Replayは、カーネルパラメータやコンパイラフラグに対する従来のアプローチよりも、完全な科学的アプリケーションを最適化できることを示す。
• 参考スコア（独自算出の注目度）: 3.078544805915989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As high-performance computing and AI workloads become increasingly dependent on GPUs, maintaining high performance across rapidly evolving hardware generations has become a major challenge. Developers often spend months tuning scientific applications to fully exploit new architectures, navigating a complex optimization space that spans algorithm design, source implementation, compiler flags and pass sequences, and kernel launch parameters. Existing approaches can effectively search parts of this space in isolation, such as launch configurations or compiler settings, but optimizing across the full space still requires substantial human expertise and iterative manual effort. In this paper, we present Record-Remix-Replay (R^3), a hierarchical optimization framework that combines LLM-driven evolutionary search, Bayesian optimization, and record-replay compilation techniques to efficiently explore GPU kernel optimizations from source-level implementation choices down to compiler pass ordering and runtime configuration. By making candidate evaluation fast and scalable, our approach enables practical end-to-end search over optimization dimensions that are typically treated separately. We show that Record-Remix-Replay can optimize full scientific applications better than traditional approaches over kernel parameters and compiler flags, while also being nearly an order of magnitude faster than modern evolutionary search approaches.
• Abstract（参考訳）: ハイパフォーマンスコンピューティングとAIワークロードがGPUに依存しているため、急速に進化するハードウェア世代にわたってハイパフォーマンスを維持することが大きな課題となっている。 開発者は、新しいアーキテクチャを完全に活用するために科学的なアプリケーションを数ヶ月間チューニングし、アルゴリズム設計、ソース実装、コンパイラフラグとパスシーケンス、カーネルの起動パラメータにまたがる複雑な最適化スペースをナビゲートする。 既存のアプローチでは、起動設定やコンパイラ設定など、このスペースの一部を分離して効果的に検索することができるが、完全なスペースを最適化するには、かなりの専門知識と反復的な手作業が必要である。 本稿では,LLMによる進化的探索,ベイズ最適化,レコード再生コンパイル技術を組み合わせた階層的最適化フレームワークであるRecord-Remix-Replay(R^3)を提案する。 提案手法は,提案手法を高速かつスケーラブルにすることで,一般に別々に扱われる最適化次元よりも,実用的なエンドツーエンドの探索を可能にする。 Record-Remix-Replayは、カーネルパラメータやコンパイラフラグに対する従来のアプローチよりも完全な科学的応用を最適化できる一方で、現代の進化的検索手法よりも桁違いに高速であることを示す。

関連論文リスト

• Making LLMs Optimize Multi-Scenario CUDA Kernels Like Experts [25.264078143000045]
  現在の自動カーネル最適化手法は、科学計算におけるスパースマトリクス操作のようなより広い領域を見渡しながら、機械学習アプリケーションに焦点を当てている。 本稿では,MSBenchを導入したマルチシナリオ設定の体系的評価の欠如に対処する。 このベンチマークに基づいて、GPUプロファイリング情報を活用し、完全なコンパイルおよび実行ツールチェーンを自動構築する、カーネル最適化のためのハードウェア対応システムであるMSMasterを紹介する。
  論文  参考訳（メタデータ） (2026-03-07T12:22:43Z)
• K-Search: LLM Kernel Generation via Co-Evolving Intrinsic World Model [57.440609834690385]
  既存のアプローチでは、進化ループ内の高速コードジェネレータとして、LLM(Large Language Models)を扱います。 我々は,共進化的世界モデルによる検索を提案し,この手法に基づいてK-Searchを構築する。 GQA, MLA, MoE カーネルを含む多種多様な複雑なカーネル上で K-Search を評価する。
  論文  参考訳（メタデータ） (2026-02-22T11:06:22Z)
• A Two-Stage GPU Kernel Tuner Combining Semantic Refactoring and Search-Based Optimization [9.49293344824955]
  本稿では,エージェント駆動反復ループ上にテンプレートベースの書き換え層を導入する。 提案手法は,実運用負荷に対する自動性能最適化を実現するために拡張することができる。
  論文  参考訳（メタデータ） (2026-01-19T03:40:12Z)
• SwizzlePerf: Hardware-Aware LLMs for GPU Kernel Performance Optimization [4.043444100380313]
  SwizzlePerfは、分散アーキテクチャ上でGPUカーネルの空間最適化を自動的に生成する。 SwizzlePerfは10種類のMLカーネルとScienceカーネルのスイートで、最大2.06倍のスピードアップとL2ヒットレートの70%の改善を実現する9つのカーネルのスワズリングパターンを生成することができる。
  論文  参考訳（メタデータ） (2025-08-27T20:30:43Z)
• CompilerDream: Learning a Compiler World Model for General Code Optimization [58.87557583347996]
  汎用コード最適化のためのモデルベース強化学習手法であるCompilerDreamを紹介する。 最適化パスの固有の特性を正確にシミュレートするコンパイラの世界モデルと、このモデルで訓練されたエージェントから、効率的な最適化戦略を生成する。 さまざまなデータセットを網羅し、LLVMのビルトイン最適化や、値予測とエンドツーエンドコード最適化の両方の設定における最先端メソッドを超越している。
  論文  参考訳（メタデータ） (2024-04-24T09:20:33Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。