論文の概要: Integrating Performance Tools in Model Reasoning for GPU Kernel Optimization
- arxiv url: http://arxiv.org/abs/2510.17158v1
- Date: Mon, 20 Oct 2025 04:57:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:12.015303
- Title: Integrating Performance Tools in Model Reasoning for GPU Kernel Optimization
- Title（参考訳）: GPUカーネル最適化のためのモデル推論におけるパフォーマンスツールの統合
- Authors: Daniel Nichols, Konstantinos Parasyris, Charles Jekel, Abhinav Bhatele, Harshitha Menon,
- Abstract要約: 本稿では,パフォーマンスツールと対話可能な言語モデルを学習するための方法論を提案する。
次に、この方法論を用いて最先端のGPUカーネル最適化モデルをトレーニングする方法を実証する。
- 参考スコア（独自算出の注目度）: 4.086371789129554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models are now prevalent in software engineering with many developers using them to automate tasks and accelerate their development. While language models have been tremendous at accomplishing complex software engineering tasks, there are still many areas where they fail to deliver desirable results, for instance code performance related tasks. Tasks like optimization depend on many complex data from the environment, hardware, etc. that are not directly represented in source code. Recent efforts have seen large improvements in general code modeling tasks using chain-of-thought style reasoning, but these models still fail to comprehend how the environment interacts with code performance. In this paper we propose a methodology to train language models that can interact with performance tools during their reasoning process. We then demonstrate how this methodology can be used to train a state-of-the-art GPU kernel optimization model.
- Abstract（参考訳）: 言語モデルは今やソフトウェア工学で広く使われており、多くの開発者がタスクの自動化と開発を加速するためにそれを使用している。
言語モデルは複雑なソフトウェアエンジニアリングタスクを達成するのに優れていますが、コードパフォーマンス関連のタスクなど、望ましい結果を提供できない領域がまだたくさんあります。
最適化のようなタスクは、直接ソースコードに表現されない環境、ハードウェアなどからの多くの複雑なデータに依存します。
最近の取り組みでは、チェーンオブソートスタイル推論を使った一般的なコードモデリングタスクが大幅に改善されているが、これらのモデルはまだ、環境がコードパフォーマンスとどのように相互作用するかを理解できていない。
本稿では,その推論過程において,パフォーマンスツールと対話可能な言語モデルを学習するための方法論を提案する。
次に、この方法論を用いて最先端のGPUカーネル最適化モデルをトレーニングする方法を実証する。
関連論文リスト
- Can Large Language Models Write Parallel Code? [0.5317767988097261]
大規模言語モデルは、ソフトウェア開発の一般的なツールになりつつある。
本稿では,最先端言語モデルによる並列コード生成能力について検討する。
論文 参考訳（メタデータ） (2024-01-23T08:25:12Z) - HPC-Coder: Modeling Parallel Programs using Large Language Models [2.3101915391170573]
ハイパフォーマンスおよび科学的コードに特有のタスクに、いかに大きな言語モデルを適用することができるかを示す。
我々は、HPCと科学コードの新しいデータセットを導入し、それをいくつかの事前訓練されたモデルを微調整するために使用します。
本研究では,汎用モデルでは不可能なHPC関数を自動補完できることを示す。
論文 参考訳（メタデータ） (2023-06-29T19:44:55Z) - A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。
プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。
抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-05T19:23:34Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z) - Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。
我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。
この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
論文 参考訳（メタデータ） (2022-12-28T18:59:28Z) - Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。
我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文 参考訳（メタデータ） (2021-04-30T16:55:28Z) - A Learned Performance Model for Tensor Processing Units [5.733911161090224]
本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。
学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。
オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
論文 参考訳（メタデータ） (2020-08-03T17:24:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。