論文の概要: Tutoring LLM into a Better CUDA Optimizer

• arxiv url: http://arxiv.org/abs/2510.16933v1
• Date: Sun, 19 Oct 2025 17:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.213616
• Title: Tutoring LLM into a Better CUDA Optimizer
• Title（参考訳）: より良いCUDA最適化器へのLDMのチューニング
• Authors: Matyáš Brabec, Jiří Klepl, Michal Töpfer, Martin Kruliš,
• Abstract要約: 我々は、事前定義されたよく知られたタスクのために最適化されたコードを生成する最新の推論モデルの能力に焦点を当てる。 我々の目的は、LLMが単独で行うことのできるコード最適化と並列パターンの種類や、チューリングによって改善できるかどうかを判断することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent leaps in large language models (LLMs) caused a revolution in programming tools (like GitHub Copilot) that can help with code generation, debugging, and even performance optimization. In this paper, we focus on the capabilities of the most recent reasoning models to generate optimized CUDA code for predefined, well-known tasks. Our objective is to determine which types of code optimizations and parallel patterns the LLMs can perform by themselves and whether they can be improved by tutoring (providing more detailed hints and guidelines in the prompt). The generated solutions were evaluated both automatically (for correctness and speedup) and manually (code reviews) to provide a more detailed perspective. We also tried an interactive approach where the LLM can fix its previous mistakes within a session. The results indicate that LLMs are quite skilled coders; however, they require tutoring to reach optimized solutions provided by parallel computing experts.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の飛躍は、コード生成やデバッグ、パフォーマンス最適化などに役立つプログラミングツール(GitHub Copilotなど)に革命をもたらした。 本稿では,事前定義されたよく知られたタスクに最適化されたCUDAコードを生成するための最新の推論モデルの能力に焦点を当てる。 目的は,LLMが独自に行うことのできるコード最適化や並列パターンの種類や,学習によって改善できるかどうか(より詳細なヒントやガイドラインをプロンプトで提供する)を決定することにある。 生成されたソリューションは、自動的に(正確性とスピードアップのために)評価され、手動で(コードレビューのために)より詳細な視点を提供する。 我々はまた、LLMがセッション内で以前のミスを修正できるインタラクティブなアプローチも試しました。 その結果,LLMは非常に熟練したプログラマであることが示唆された。しかし,並列コンピューティングの専門家が提供した最適化されたソリューションに到達するためには,チュータリングが必要である。

関連論文リスト

• Improving Parallel Program Performance with LLM Optimizers via Agent-System Interfaces [9.880183350366792]
  並列プログラムのパフォーマンスを改善する上で重要な課題は、タスクをプロセッサやデータに効率的にメモリにマッピングすることだ。 生成最適化によるマッパー開発を自動化するフレームワークを提案する。 提案手法では,9つのベンチマークで1.34倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-21T04:08:37Z)
• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• Should AI Optimize Your Code? A Comparative Study of Classical Optimizing Compilers Versus Current Large Language Models [0.0]
  大規模言語モデル(LLM)は、コード最適化に革命をもたらすAIアプローチの可能性に関する興味深い疑問を提起する。 この作業は、コンパイラコミュニティにとって重要な質問に答えることを目的としている。 本稿では3つの古典最適化コンパイラと2つの最近の大規模言語モデルの比較分析を行う。
  論文  参考訳（メタデータ） (2024-06-17T23:26:41Z)
• A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
  大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。 本稿では,LLMが最小実行時間に最適化する能力について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LangProp: A code optimization framework using Large Language Models applied to driving [17.581983909703283]
  LangPropは、大規模言語モデル(LLM)によって生成されたコードを反復的に最適化するフレームワークである。 我々は、LangPropが、メトリックとデータ駆動の方法で検証と改善が可能な、解釈可能な、透過的なポリシーをどうやって生成できるかを示す。
  論文  参考訳（メタデータ） (2024-01-18T18:52:06Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。