論文の概要: Less is more: learning what to profile for GPU kernel optimization

• arxiv url: http://arxiv.org/abs/2610.36576v1
• Date: Tue, 27 Oct 2026 03:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.475464
• Title: Less is more: learning what to profile for GPU kernel optimization
• Title（参考訳）: GPUカーネルの最適化のために何をプロファイルするかを学ぶ
• Abstract要約: 効果的なプロファイリングは単により多くの情報を集めることではありません。 最適化フィードバックから決定論的プロファイリングツリーを学習するためのフィードバック駆動フレームワークであるAutoProfilerを提案する。
• 参考スコア（独自算出の注目度）: 24.88518266117787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have recently shown strong potential for automatically optimizing GPU kernels, yet their effectiveness depends critically on the hardware information available to the kernel optimization model. Existing systems typically rely on predefined profiling strategies, leaving what to profile largely outside the optimization process. We show that effective profiling is not simply about collecting more information: increasing the number of profiling metrics does not monotonically improve kernel optimization, while the most useful profiling information varies across kernels. Our theoretical analysis further shows that, under such heterogeneous profiling utility, kernel-conditioned selection can outperform any single fixed profiling configuration. Motivated by this observation, we propose AutoProfiler, a feedback-driven framework for learning a deterministic profiling tree from optimization feedback. The tree is iteratively refined through REWRITE and SPLIT operations, with an LLM generating candidate modifications and empirical evaluation determining their acceptance. Once constructed, the tree quickly gathers the required profiling information for any kernel, allowing the LLM rewriter to be invoked only once. Experiments on KernelBench show that our approach improves kernel optimization over fixed profiling configurations under constrained profiling budgets. These results suggest that hardware profiling should evolve from static metric collection toward profiling reasoning, making profiling itself a new dimension for improving kernel optimization. The codes are available at https://github.com/Satissss/AutoProfiler.
• Abstract（参考訳）: 大規模言語モデルはGPUカーネルを自動最適化する強力な可能性を示しているが、その効果はカーネル最適化モデルで利用可能なハードウェア情報に大きく依存している。 既存のシステムは通常、事前に定義されたプロファイリング戦略に依存しており、最適化プロセスの外でプロファイルするべきものを残している。 有効プロファイリングは単により多くの情報を集めることではなく、カーネル最適化を単調に改善するものではなく、最も有用なプロファイリング情報はカーネル間で異なる。 この理論解析により、カーネル条件の選択は、不均一なプロファイリングユーティリティの下では、任意の固定されたプロファイリング構成よりも優れていることが示された。 本稿では,最適化フィードバックから決定論的プロファイリングツリーを学習するためのフィードバック駆動フレームワークであるAutoProfilerを提案する。 木は、REWRITEおよびSPLIT操作により反復的に精製され、LLMは候補変更を生成し、その受け入れを実証的に評価する。 一度構築されると、ツリーはすぐに必要なカーネルのプロファイリング情報を収集し、LLMリライターを一度だけ呼び出すことができる。 KernelBenchの実験により,制約付きプロファイリング予算下での固定プロファイリング構成に対するカーネル最適化が向上することが示された。 これらの結果は,ハードウェアプロファイリングが静的なメトリクス収集からプロファイリング推論へと進化し,プロファイリング自体がカーネル最適化を改善するための新たな次元となることを示唆している。 コードはhttps://github.com/Satisss/AutoProfiler.comから入手できる。

関連論文リスト

• GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
  カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。 限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。 実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
  論文  参考訳（メタデータ） (2026-05-29T15:56:08Z)
• Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
  補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。 その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
  論文  参考訳（メタデータ） (2026-05-15T09:21:29Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• A Two-Stage GPU Kernel Tuner Combining Semantic Refactoring and Search-Based Optimization [9.49293344824955]
  本稿では,エージェント駆動反復ループ上にテンプレートベースの書き換え層を導入する。 提案手法は,実運用負荷に対する自動性能最適化を実現するために拡張することができる。
  論文  参考訳（メタデータ） (2026-01-19T03:40:12Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Stale Profile Matching [1.1091463365252643]
  プロファイル誘導最適化は、最適化されたコードを生成するためにコンパイラを指示するプロファイルデータに依存する。 実際には、一般的にプロファイルコレクションとリリースの間にギャップがあり、プロファイルの一部が最適化のために無効になる。 本稿では,リリースの背後にあるいくつかのリビジョンから構築されたバイナリ上に収集されたプロファイルを利用するための,最初の実用的なソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-30T16:56:32Z)
• Profile Guided Optimization without Profiles: A Machine Learning Approach [0.0]
  プロファイルガイド最適化は動的挙動に基づくコンパイラの最適化能力を改善する効果的な手法である。 本稿では,プロファイルを導出せずにコンパイルされるプログラムの性能を向上させる分岐確率推定のための新しい統計的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-24T22:49:21Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。