Fugu-MT 論文翻訳(概要): MPIrigen: MPI Code Generation through Domain-Specific Language Models

論文の概要: MPIrigen: MPI Code Generation through Domain-Specific Language Models

arxiv url: http://arxiv.org/abs/2402.09126v1
Date: Wed, 14 Feb 2024 12:24:21 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 15:43:49.435385
Title: MPIrigen: MPI Code Generation through Domain-Specific Language Models
Title（参考訳）: MPIrigen:ドメイン特化言語モデルによるMPIコード生成
Authors: Nadav Schneider, Niranjan Hasabnis, Vy A. Vo, Tal Kadosh, Neva Krien, Mihai Capot\u{a}, Abdul Wasay, Guy Tamir, Ted Willke, Nesreen Ahmed, Yuval Pinter, Timothy Mattson, Gal Oren
Abstract要約: 本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。 HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
参考スコア（独自算出の注目度）: 5.0227775038998415
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The imperative need to scale computation across numerous nodes highlights the significance of efficient parallel computing, particularly in the realm of Message Passing Interface (MPI) integration. The challenging parallel programming task of generating MPI-based parallel programs has remained unexplored. This study first investigates the performance of state-of-the-art language models in generating MPI-based parallel programs. Findings reveal that widely used models such as GPT-3.5 and PolyCoder (specialized multi-lingual code models) exhibit notable performance degradation, when generating MPI-based programs compared to general-purpose programs. In contrast, domain-specific models such as MonoCoder, which are pretrained on MPI-related programming languages of C and C++, outperform larger models. Subsequently, we introduce a dedicated downstream task of MPI-based program generation by fine-tuning MonoCoder on HPCorpusMPI. We call the resulting model as MPIrigen. We propose an innovative preprocessing for completion only after observing the whole code, thus enabling better completion with a wider context. Comparative analysis against GPT-3.5 zero-shot performance, using a novel HPC-oriented evaluation method, demonstrates that MPIrigen excels in generating accurate MPI functions up to 0.8 accuracy in location and function predictions, and with more than 0.9 accuracy for argument predictions. The success of this tailored solution underscores the importance of domain-specific fine-tuning in optimizing language models for parallel computing code generation, paving the way for a new generation of automatic parallelization tools. The sources of this work are available at our GitHub MPIrigen repository: https://github.com/Scientific-Computing-Lab-NRCN/MPI-rigen
Abstract（参考訳）: 多くのノードにまたがって計算をスケールする必要があることは、特にMessage Passing Interface(MPI)統合の領域において、効率的な並列コンピューティングの重要性を強調している。 MPIベースの並列プログラムを生成するという挑戦的な並列プログラミングタスクは、まだ未検討のままである。本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。 GPT-3.5やPolyCoder(特殊化多言語コードモデル)のような広く使われているモデルは、汎用プログラムと比較してMPIベースのプログラムを生成する際に顕著な性能低下を示す。対照的に、MonoCoderのようなドメイン固有モデルは、CとC++のMPI関連プログラミング言語で事前訓練されており、より大きなモデルよりも優れている。その後、HPCorpusMPI上でMonoCoderを微調整することで、MPIベースのプログラム生成のダウンストリームタスクを導入する。結果のモデルを MPIrigen と呼ぶ。我々は、コード全体を観察した後にのみ完了のための革新的な前処理を提案し、より広い文脈でより良い完了を可能にする。 gpt-3.5ゼロショット性能に対する新しいhpc指向評価法の比較分析により、mpirigenは位置および関数予測において0.8までの正確なmpi関数の生成に優れ、引数予測では0.9以上の精度を持つことが示された。この調整されたソリューションの成功は、並列コンピューティングコード生成のための言語モデルの最適化において、ドメイン固有の微調整の重要性を強調し、新しい世代の自動並列化ツールへの道を開く。この作業のソースはGitHub MPIrigenリポジトリで公開されています。

関連論文リスト

OMPar: Automatic Parallelization with AI-Driven Source-to-Source Compilation [4.266086505323998]
本稿では,OpenMP pragmasを用いたC/C++コードの並列化を自動化するAI駆動型ツールであるOMParを紹介する。 OMParは、ループ並列化ポテンシャルを評価するOMPifyと、正確なOpenMPパグマを生成する新しい微調整モデルであるMonoCoder-OMPの2つの主要なコンポーネントを通じて、LLM(Large Language Models)を統合している。
論文参考訳（メタデータ） (2024-09-23T07:39:01Z)
SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
論文参考訳（メタデータ） (2024-03-23T14:04:48Z)
OMPGPT: A Generative Pre-trained Transformer Model for OpenMP [6.917568654215119]
OMPGPTは、OpenMPプラグマ生成のための言語モデル固有の強みを巧みに活用するために設計された、新しいドメイン固有モデルである。我々は、NLPドメインからの迅速なエンジニアリング技術を活用し、OMPGPTの有効性を高めるために設計された革新的な戦略であるChain-of-OMPを作成する。
論文参考訳（メタデータ） (2024-01-28T06:06:59Z)
Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文参考訳（メタデータ） (2024-01-11T18:54:44Z)
Retentive Network: A Successor to Transformer for Large Language Models [91.6652200825638]
大規模言語モデルの基盤アーキテクチャとしてRetentive Network(RetNet)を提案する。理論的には、再発と注意の関係を導出する。言語モデリングの実験結果から、RetNetは優れたスケーリング結果、並列トレーニング、低コストなデプロイメント、効率的な推論を実現している。
論文参考訳（メタデータ） (2023-07-17T16:40:01Z)
Advising OpenMP Parallelization via a Graph-Based Approach with Transformers [2.393682571484038]
我々は,OpenMPのプラグマと共有メモリ属性を並列コードで検出し,予測する,OMPifyと呼ばれる新しい手法を提案する。 OMPifyは、ソースコードのグラフベースの表現を利用するTransformerベースのモデルに基づいている。以上の結果から,OMPifyは汎用および人気の高いChatGPTやPragFormerモデルなど,既存のアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-16T16:56:10Z)
MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers [3.2164100882807913]
メッセージパッシングインタフェース(MPI)は、複数のノードにわたる分散メモリ並列化において重要な役割を果たす。データ駆動型プログラミング支援ツールであるMPI-RICALを開発した。 MPICodeCorpusは、GitHub上の15,000以上のオープンソースリポジトリをマイニングして作成される、MPIベースの並列プログラムの最初の公開コーパスです。
論文参考訳（メタデータ） (2023-05-16T13:50:24Z)
ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
論文参考訳（メタデータ） (2023-04-07T05:52:59Z)
QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
並列量子プログラミングのための言語拡張を提案する。 QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
論文参考訳（メタデータ） (2022-10-07T16:35:16Z)
TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
論文参考訳（メタデータ） (2021-02-16T07:34:32Z)
MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。