論文の概要: Do Large Language Models Understand Performance Optimization?

• arxiv url: http://arxiv.org/abs/2503.13772v1
• Date: Mon, 17 Mar 2025 23:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:22.530889
• Title: Do Large Language Models Understand Performance Optimization?
• Title（参考訳）: 大規模言語モデルはパフォーマンスの最適化を理解するか?
• Authors: Bowen Cui, Tejas Ramesh, Oscar Hernandez, Keren Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、コード補完、翻訳、最適化といったソフトウェア開発タスクのための強力なツールとして登場した。 本稿では,複数の重要なHPC計算モチーフを含むベンチマークスイートについて,最先端のLLMで最適化されたコードの性能を評価する。
• 参考スコア（独自算出の注目度）: 0.9320657506524149
• License:
• Abstract: Large Language Models (LLMs) have emerged as powerful tools for software development tasks such as code completion, translation, and optimization. However, their ability to generate efficient and correct code, particularly in complex High-Performance Computing (HPC) contexts, has remained underexplored. To address this gap, this paper presents a comprehensive benchmark suite encompassing multiple critical HPC computational motifs to evaluate the performance of code optimized by state-of-the-art LLMs, including OpenAI o1, Claude-3.5, and Llama-3.2. In addition to analyzing basic computational kernels, we developed an agent system that integrates LLMs to assess their effectiveness in real HPC applications. Our evaluation focused on key criteria such as execution time, correctness, and understanding of HPC-specific concepts. We also compared the results with those achieved using traditional HPC optimization tools. Based on the findings, we recognized the strengths of LLMs in understanding human instructions and performing automated code transformations. However, we also identified significant limitations, including their tendency to generate incorrect code and their challenges in comprehending complex control and data flows in sophisticated HPC code.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード補完、翻訳、最適化といったソフトウェア開発タスクのための強力なツールとして登場した。 しかし、特にHPC(High-Performance Computing)の複雑なコンテキストにおいて、効率的で正確なコードを生成する能力は、いまだ検討されていない。 そこで本稿では,OpenAI o1やClaude-3.5,Llama-3.2といった最先端のLLMによって最適化されたコードの性能を評価するために,複数の重要なHPC計算モチーフを含む総合ベンチマークスイートを提案する。 我々は,基本計算カーネルの解析に加えて,実HPCアプリケーションにおいてLLMを統合し,その有効性を評価するエージェントシステムを開発した。 本評価は,HPC固有の概念の実施時間,正確性,理解などの重要な基準に焦点を当てた。 また、従来のHPC最適化ツールを用いた結果と比較した。 これらの結果から,人間の指示を理解し,自動コード変換を行う上でのLLMの強みを認識した。 しかし、不正確なコードを生成する傾向や、複雑な制御やデータフローを高度なHPCコードで理解する上での課題など、重大な制限も見いだした。

関連論文リスト

• Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs [0.8217552831952]
  大きな言語モデル(LLM)は、言語理解と生成に関する考え方を変えました。 LLM量子化によく使われるグループ量子化形式は、計算上のオーバーヘッドとリソース集約型量子化プロセスを持つ。 本稿では,LLMの超低精度量子化のためのグループワイド非一様符号ブックに基づく量子化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:44:29Z)
• HPC-Coder-V2: Studying Code LLMs Across Low-Resource Parallel Languages [1.6954729278440728]
  大規模言語モデル(LLM)ベースのコーディングツールは、ソフトウェア開発アシスタントとして非常に成功しています。 汎用的なプログラミングタスクのために設計され、ハイパフォーマンスコンピューティングのような専門分野では性能が良くない。 課題をより深く理解するために,HPC LLMを微調整する多数の軸について詳細な研究を行う。
  論文  参考訳（メタデータ） (2024-12-19T18:52:05Z)
• PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback [78.89596149768458]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクを支援するために広く採用されている。 LLM生成コードの性能を向上させるトレーニングフリーフレームワークPerfCodeGenを提案する。
  論文  参考訳（メタデータ） (2024-11-18T06:22:38Z)
• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• HPC-GPT: Integrating Large Language Model for High-Performance Computing [3.8078849170829407]
  HPCドメインに対して生成されたQA(Question-Answer)インスタンスを用いて微調整を行う新しいLLaMAモデルであるHPC-GPTを提案する。 その有効性を評価するために、AIモデルとHPC用データセットの管理とデータ競合検出という2つのHPCタスクに集中する。 LLMとHPC固有のタスク間の性能ギャップを埋めるHPC-GPTの可能性について検討した。
  論文  参考訳（メタデータ） (2023-10-03T01:34:55Z)
• Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)
• Scope is all you need: Transforming LLMs for HPC Code [5.0227775038998415]
  本稿では,HPCにおける前処理やコンパイル中心のタスクに特化して設計された,Tokompilerという新しいトークン機構を提案する。 Tokompilerは言語プリミティブの知識を活用して、言語指向のトークンを生成し、コード構造をコンテキスト対応で理解する。 その結果、Tokompilerは従来のトークン化ツールに比べてコード補完精度と意味理解を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-18T10:12:03Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。