論文の概要: MPIrigen: MPI Code Generation through Domain-Specific Language Models
- arxiv url: http://arxiv.org/abs/2402.09126v2
- Date: Tue, 23 Apr 2024 16:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 19:16:06.691366
- Title: MPIrigen: MPI Code Generation through Domain-Specific Language Models
- Title(参考訳): MPIrigen:ドメイン特化言語モデルによるMPIコード生成
- Authors: Nadav Schneider, Niranjan Hasabnis, Vy A. Vo, Tal Kadosh, Neva Krien, Mihai Capotă, Guy Tamir, Ted Willke, Nesreen Ahmed, Yuval Pinter, Timothy Mattson, Gal Oren,
- Abstract要約: 本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。
HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。
この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
- 参考スコア(独自算出の注目度): 3.5352856644774806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The imperative need to scale computation across numerous nodes highlights the significance of efficient parallel computing, particularly in the realm of Message Passing Interface (MPI) integration. The challenging parallel programming task of generating MPI-based parallel programs has remained unexplored. This study first investigates the performance of state-of-the-art language models in generating MPI-based parallel programs. Findings reveal that widely used models such as GPT-3.5 and PolyCoder (specialized multi-lingual code models) exhibit notable performance degradation, when generating MPI-based programs compared to general-purpose programs. In contrast, domain-specific models such as MonoCoder, which are pretrained on MPI-related programming languages of C and C++, outperform larger models. Subsequently, we introduce a dedicated downstream task of MPI-based program generation by fine-tuning MonoCoder on HPCorpusMPI. We call the resulting model as MPIrigen. We propose an innovative preprocessing for completion only after observing the whole code, thus enabling better completion with a wider context. Comparative analysis against GPT-3.5 zero-shot performance, using a novel HPC-oriented evaluation method, demonstrates that MPIrigen excels in generating accurate MPI functions up to 0.8 accuracy in location and function predictions, and with more than 0.9 accuracy for argument predictions. The success of this tailored solution underscores the importance of domain-specific fine-tuning in optimizing language models for parallel computing code generation, paving the way for a new generation of automatic parallelization tools. The sources of this work are available at our GitHub MPIrigen repository: https://github.com/Scientific-Computing-Lab-NRCN/MPI-rigen
- Abstract(参考訳): 多くのノードにまたがって計算をスケールする必要があることは、特にMessage Passing Interface(MPI)統合の領域において、効率的な並列コンピューティングの重要性を強調している。
MPIベースの並列プログラムを生成するという挑戦的な並列プログラミングタスクは、まだ未検討のままである。
本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。
GPT-3.5やPolyCoder(特殊化多言語コードモデル)のような広く使われているモデルは、汎用プログラムと比較してMPIベースのプログラムを生成する際に顕著な性能低下を示す。
対照的に、MonoCoderのようなドメイン固有モデルは、CとC++のMPI関連プログラミング言語で事前訓練されており、より大きなモデルよりも優れている。
その後、HPCorpusMPI上でMonoCoderを微調整することで、MPIベースのプログラム生成のダウンストリームタスクを導入する。
結果のモデルを MPIrigen と呼ぶ。
コード全体を観察した後にのみ、完了のための革新的な前処理を提案し、より広いコンテキストで、より良い完了を可能にする。
GPT-3.5ゼロショット性能の比較分析は、新しいHPC指向評価法を用いて、MPIrigenは、位置および関数予測において最大0.8の精度で、引数予測において0.9以上の精度で正確なMPI関数を生成するのに優れていることを示した。
このカスタマイズされたソリューションの成功は、並列コンピューティングコード生成のための言語モデルを最適化する上で、ドメイン固有の微調整の重要性を強調し、新しい世代の自動並列化ツールの道を開いた。
この作業のソースはGitHub MPIrigenリポジトリで公開されています。
関連論文リスト
- OMPGPT: A Generative Pre-trained Transformer Model for OpenMP [7.264455119495624]
本稿では,OpenMP生成のための言語モデル固有の強みを巧みに活用する新しいモデルであるOMPGPTを紹介する。
我々は、OMPGPTの有効性を高めるために設計された革新的な戦略であるチェーン・オブ・OMPを作成するために、NLPドメインからの迅速なエンジニアリング技術を採用し、適応する。
論文 参考訳(メタデータ) (2024-01-28T06:06:59Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - AUTOPARLLM: GNN-Guided Automatic Code Parallelization using Large
Language Models [13.514916184776107]
AUTOPARLLMは、並列性を自動的に発見し、シーケンシャルなプログラムの並列バージョンを生成するためのフレームワークである。
NAS Parallel Benchmark と Rodinia Benchmark の2つの有名なベンチマークスイートを11のアプリケーションで評価した。
この結果から, AUTOPARLLM は並列コード生成タスクにおける最先端の LLM モデルの改善に有効であることが示唆された。
論文 参考訳(メタデータ) (2023-10-06T06:51:16Z) - Retentive Network: A Successor to Transformer for Large Language Models [91.6652200825638]
大規模言語モデルの基盤アーキテクチャとしてRetentive Network(RetNet)を提案する。
理論的には、再発と注意の関係を導出する。
言語モデリングの実験結果から、RetNetは優れたスケーリング結果、並列トレーニング、低コストなデプロイメント、効率的な推論を実現している。
論文 参考訳(メタデータ) (2023-07-17T16:40:01Z) - Advising OpenMP Parallelization via a Graph-Based Approach with
Transformers [2.393682571484038]
我々は,OpenMPのプラグマと共有メモリ属性を並列コードで検出し,予測する,OMPifyと呼ばれる新しい手法を提案する。
OMPifyは、ソースコードのグラフベースの表現を利用するTransformerベースのモデルに基づいている。
以上の結果から,OMPifyは汎用および人気の高いChatGPTやPragFormerモデルなど,既存のアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-16T16:56:10Z) - MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with
Transformers [3.2164100882807913]
メッセージパッシングインタフェース(MPI)は、複数のノードにわたる分散メモリ並列化において重要な役割を果たす。
データ駆動型プログラミング支援ツールであるMPI-RICALを開発した。
MPICodeCorpusは、GitHub上の15,000以上のオープンソースリポジトリをマイニングして作成される、MPIベースの並列プログラムの最初の公開コーパスです。
論文 参考訳(メタデータ) (2023-05-16T13:50:24Z) - ParaGraph: Weighted Graph Representation for Performance Optimization of
HPC Kernels [1.304892050913381]
抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。
提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。
その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
論文 参考訳(メタデータ) (2023-04-07T05:52:59Z) - QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
並列量子プログラミングのための言語拡張を提案する。
QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。
並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
論文 参考訳(メタデータ) (2022-10-07T16:35:16Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳(メタデータ) (2022-05-23T08:20:41Z) - TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale
Language Models [60.23234205219347]
TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。
TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
論文 参考訳(メタデータ) (2021-02-16T07:34:32Z) - MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical
Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。
驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文 参考訳(メタデータ) (2020-04-16T16:20:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。