論文の概要: Modeling Parallel Programs using Large Language Models
- arxiv url: http://arxiv.org/abs/2306.17281v1
- Date: Thu, 29 Jun 2023 19:44:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 14:02:13.662333
- Title: Modeling Parallel Programs using Large Language Models
- Title(参考訳): 大規模言語モデルを用いた並列プログラムのモデリング
- Authors: Daniel Nichols, Aniruddha Marathe, Harshitha Menon, Todd Gamblin,
Abhinav Bhatele
- Abstract要約: 大規模言語モデル(LLM)が,高性能および科学的コードに特有のタスクにどのように適用できるかを示す。
並列コードで訓練された新しいモデルHPC-Coderを導入する。
- 参考スコア(独自算出の注目度): 2.906142380269856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel software codes in high performance computing (HPC) continue to grow
in complexity and scale as we enter the exascale era. A diverse set of emerging
hardware and programming paradigms make developing, optimizing, and maintaining
parallel software burdensome for developers. One way to alleviate some of these
burdens is with automated development and analysis tools. Such tools can
perform complex and/or remedial tasks for developers that increase their
productivity and decrease the chance for error. So far, such tools for code
development and performance analysis have been limited in the complexity of
tasks they can perform. However, with recent advancements in language modeling,
and the wealth of code related data that is now available online, these tools
have started to utilize predictive language models to automate more complex
tasks. In this paper, we show how large language models (LLMs) can be applied
to tasks specific to high performance and scientific codes. We train LLMs using
code and performance data that is specific to parallel codes. We compare
several recent LLMs on HPC related tasks and introduce a new model, HPC-Coder,
trained on parallel code. In our experiments we show that this model can
auto-complete HPC functions where general models cannot, decorate for loops
with OpenMP pragmas, and model performance changes in two scientific
application repositories.
- Abstract(参考訳): ハイパフォーマンスコンピューティング(HPC)における並列ソフトウェアコードは、エクサスケール時代に入るにつれて、複雑さとスケールが増し続けている。
多様なハードウェアとプログラミングパラダイムによって、並列ソフトウェアの開発、最適化、保守が開発者の負担になる。
これらの負担を軽減する方法のひとつは、自動開発と分析ツールだ。
このようなツールは、生産性を高め、エラーの可能性を減らす開発者のために、複雑で/または改善的なタスクを実行することができる。
これまでのところ、コード開発やパフォーマンス分析のためのツールは、実行可能なタスクの複雑さに制限されている。
しかし、近年の言語モデリングの進歩と、現在オンラインで利用できるコード関連データの豊富さにより、これらのツールは予測言語モデルを利用してより複雑なタスクを自動化するようになった。
本稿では,大規模言語モデル(LLM)が,高性能および科学的コードに特有のタスクにどのように適用できるかを示す。
並列コードに特有のコードとパフォーマンスデータを用いてLCMをトレーニングする。
我々は、HPC関連タスクにおける最近のLLMを比較し、並列コードで訓練された新しいモデルHPC-Coderを導入する。
実験では,一般モデルでは不可能なHPC関数の自動補完,OpenMPプラグマを用いたループのデコレーション,および2つの科学応用リポジトリにおける性能変化のモデル化が可能であることを示す。
関連論文リスト
- Performance-Aligned LLMs for Generating Fast Code [2.180216161965907]
コードLLMの出力と性能を一致させる強化学習に基づく手法を提案する。
我々は,一連のベンチマークタスクのベースモデル上でのコード生成の高速化を,微調整モデルにより改善できることを実証した。
論文 参考訳(メタデータ) (2024-04-29T16:52:38Z) - DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。
GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。
本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
論文 参考訳(メタデータ) (2024-03-13T15:13:44Z) - CodePori: Large Scale Model for Autonomous Software Development by Using
Multi-Agents [3.8066447473175304]
大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学(SE)の分野を変えつつある。
本稿では,自然言語のプロンプトに基づく大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化する新しいモデルであるCodePoriを紹介する。
論文では、CodePoriが大規模なプロジェクトのために実行中のコードを生成し、数時間ではなく数分でソフトウェア開発プロセス全体を完了し、数ドルというコストで実行可能であることを示しています。
論文 参考訳(メタデータ) (2024-02-02T13:42:50Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - Can Large Language Models Write Parallel Code? [0.5317767988097261]
大規模言語モデルは、ソフトウェア開発の一般的なツールになりつつある。
並列コードを生成するための最先端言語モデルの能力について検討する。
論文 参考訳(メタデータ) (2024-01-23T08:25:12Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Domain-Specific Code Language Models: Unraveling the Potential for HPC
Codes and Tasks [5.250454826260407]
ソフトウェア開発におけるAIのトレンドは、様々なプログラミングタスクに対処するより大きな言語モデル(LLM)を開発することである。
ハイパフォーマンスコンピューティング(HPC)領域のタスクに適用されるLLMでさえ、巨大なサイズであり、トレーニングに高価な計算リソースを必要とする。
私たちは、既存のLMよりも桁違いに小さいが、パフォーマンスは良くないものの、HPC固有のLM、MonoCoderを構築しています。
論文 参考訳(メタデータ) (2023-12-20T15:11:06Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳(メタデータ) (2023-05-31T05:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。