論文の概要: HPC-Coder: Modeling Parallel Programs using Large Language Models
- arxiv url: http://arxiv.org/abs/2306.17281v2
- Date: Tue, 14 May 2024 14:51:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 20:00:15.042318
- Title: HPC-Coder: Modeling Parallel Programs using Large Language Models
- Title（参考訳）: HPCコーダ:大規模言語モデルを用いた並列プログラムのモデル化
- Authors: Daniel Nichols, Aniruddha Marathe, Harshitha Menon, Todd Gamblin, Abhinav Bhatele,
- Abstract要約: ハイパフォーマンスおよび科学的コードに特有のタスクに、いかに大きな言語モデルを適用することができるかを示す。
我々は、HPCと科学コードの新しいデータセットを導入し、それをいくつかの事前訓練されたモデルを微調整するために使用します。
本研究では,汎用モデルでは不可能なHPC関数を自動補完できることを示す。
- 参考スコア（独自算出の注目度）: 2.3101915391170573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel programs in high performance computing (HPC) continue to grow in complexity and scale in the exascale era. The diversity in hardware and parallel programming models make developing, optimizing, and maintaining parallel software even more burdensome for developers. One way to alleviate some of these burdens is with automated development and analysis tools. Such tools can perform complex and/or remedial tasks for developers that increase their productivity and decrease the chance for error. Until recently, such tools for code development and performance analysis have been limited in the complexity of tasks they can perform, especially for parallel programs. However, with recent advancements in language modeling, and the availability of large amounts of open-source code related data, these tools have started to utilize predictive language models to automate more complex tasks. In this paper, we show how large language models (LLMs) can be applied to tasks specific to high performance and scientific codes. We introduce a new dataset of HPC and scientific codes and use it to fine-tune several pre-trained models. We compare several pre-trained LLMs on HPC-related tasks and introduce a new model, HPC-Coder, fine-tuned on parallel codes. In our experiments, we show that this model can auto-complete HPC functions where generic models cannot, decorate for loops with OpenMP pragmas, and model performance changes in scientific application repositories as well as programming competition solutions.
- Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)における並列プログラムは、エクサスケール時代の複雑さとスケールの増大を続けている。
ハードウェアと並列プログラミングモデルの多様性は、開発者にとってさらに負担のかかる並列ソフトウェアの開発、最適化、メンテナンスを可能にします。
これらの負担を軽減する方法の1つは、自動開発と分析ツールです。
このようなツールは、生産性を高め、エラーの可能性を減少させる開発者のために、複雑で/または改善的なタスクを実行することができる。
最近まで、コード開発とパフォーマンス分析のためのそのようなツールは、実行可能なタスク、特に並列プログラムの複雑さに制限されていた。
しかし、近年の言語モデリングの進歩と大量のオープンソースコード関連データの利用により、これらのツールは予測言語モデルを利用してより複雑なタスクを自動化するようになった。
本稿では,大規模言語モデル(LLM)が,ハイパフォーマンスおよび科学的コードに特有のタスクにどのように適用できるかを示す。
我々は、HPCと科学コードの新しいデータセットを導入し、それをいくつかの事前訓練されたモデルを微調整するために使用します。
我々は、HPC関連タスクにおける事前学習LLMを比較し、並列コードで微調整された新しいモデル、HPC-Coderを導入する。
実験では,汎用モデルでは不可能なHPC関数を自動補完し,OpenMPプラグマでループをデコレートし,科学アプリケーションリポジトリやプログラミングコンペティションソリューションの性能変化をモデル化できることを示した。
関連論文リスト
- An Empirical Study on Self-correcting Large Language Models for Data Science Code Generation [1.335664823620186]
大規模言語モデル(LLM)は最近、ソフトウェア工学のタスクに多くの応用を進歩させた。
CoT-SelfEvolveは、自己修正プロセスを通じて、反復的かつ自動的にコードを洗練する。
論文 参考訳（メタデータ） (2024-08-28T09:19:09Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。
GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。
本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
論文 参考訳（メタデータ） (2024-03-13T15:13:44Z) - MPIrigen: MPI Code Generation through Domain-Specific Language Models [3.5352856644774806]
本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。
HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。
この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-02-14T12:24:21Z) - The Landscape and Challenges of HPC Research and LLMs [12.57518012358534]
大規模言語モデル(LLM)はディープラーニングの分野に革命をもたらした。
エンコーダデコーダモデルとプロンプトベースのテクニックは、自然言語処理とコードベースのタスクにとって大きな可能性を示している。
論文 参考訳（メタデータ） (2024-02-03T04:21:07Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - Can Large Language Models Write Parallel Code? [0.5317767988097261]
大規模言語モデルは、ソフトウェア開発の一般的なツールになりつつある。
本稿では,最先端言語モデルによる並列コード生成能力について検討する。
論文 参考訳（メタデータ） (2024-01-23T08:25:12Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳（メタデータ） (2023-09-29T17:40:26Z) - Modelling Concurrency Bugs Using Machine Learning [0.0]
このプロジェクトは、一般的な機械学習アプローチと最近の機械学習アプローチを比較することを目的としている。
我々は、実生活(同時)プログラムをシミュレートする範囲で生成する合成データセットを定義する。
各種機械学習モデルモデルの基本的な限界に関する仮説を定式化する。
論文 参考訳（メタデータ） (2023-05-08T17:30:24Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。