論文の概要: OMPGPT: A Generative Pre-trained Transformer Model for OpenMP
- arxiv url: http://arxiv.org/abs/2401.16445v1
- Date: Sun, 28 Jan 2024 06:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 17:40:52.946968
- Title: OMPGPT: A Generative Pre-trained Transformer Model for OpenMP
- Title(参考訳): OMPGPT: OpenMPのための生成事前学習型トランスモデル
- Authors: Le Chen, Arijit Bhattacharjee, Nesreen Ahmed, Niranjan Hasabnis, Gal
Oren, Vy Vo, Ali Jannesari
- Abstract要約: 本稿では,OpenMP生成のための言語モデル固有の強みを巧みに活用する新しいモデルであるOMPGPTを紹介する。
我々は、OMPGPTの有効性を高めるために設計された革新的な戦略であるチェーン・オブ・OMPを作成するために、NLPドメインからの迅速なエンジニアリング技術を採用し、適応する。
- 参考スコア(独自算出の注目度): 7.264455119495624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs), as epitomized by models like ChatGPT, have
revolutionized the field of natural language processing (NLP). Along with this
trend, code-based large language models such as StarCoder, WizardCoder, and
CodeLlama have emerged, trained extensively on vast repositories of code data.
Yet, inherent in their design, these models primarily focus on generative tasks
like code generation, code completion, and comment generation, and general
support for multiple programming languages. While the generic abilities of code
LLMs are useful for many programmers, the area of high-performance computing
(HPC) has a narrower set of requirements that make a smaller and more
domain-specific LM a smarter choice. This paper introduces OMPGPT, a novel
model meticulously designed to harness the inherent strengths of language
models for OpenMP pragma generation. Furthermore, we adopt and adapt prompt
engineering techniques from the NLP domain to create chain-of-OMP, an
innovative strategy designed to enhance OMPGPT's effectiveness. Our extensive
evaluations demonstrate that OMPGPT outperforms existing large language models
specialized in OpenMP tasks and maintains a notably smaller size, aligning it
more closely with the typical hardware constraints of HPC environments. We
consider our contribution as a pivotal bridge, connecting the advantage of
language models with the specific demands of HPC tasks. The success of OMPGPT
lays a solid foundation, suggesting its potential applicability and
adaptability to a wider range of HPC tasks, thereby opening new avenues in the
field of computational efficiency and effectiveness.
- Abstract(参考訳): 大型言語モデル(LLM)は、ChatGPTのようなモデルによってエピトーム化され、自然言語処理(NLP)の分野に革命をもたらした。
この傾向とともに、StarCoder、WizardCoder、CodeLlamaといったコードベースの大規模言語モデルが登場し、膨大なコードデータのリポジトリで広く訓練されている。
しかし、これらのモデルは設計に固有のもので、主にコード生成、コード補完、コメント生成などの生成タスク、および複数のプログラミング言語に対する一般的なサポートに焦点を当てている。
コードLLMの汎用能力は多くのプログラマにとって有用であるが、ハイパフォーマンスコンピューティング(HPC)の領域はより狭く、より小さく、よりドメイン固有のLMをよりスマートに選択できる。
本稿では,OpenMPプラグマ生成のための言語モデル固有の強みを巧みに活用する新しいモデルであるOMPGPTを紹介する。
さらに、我々は、OMPGPTの有効性を高めるために設計された革新的な戦略であるチェーン・オブ・OMPを作成するために、NLPドメインからの迅速なエンジニアリング技術を採用し、適応する。
OMPGPTはOpenMPタスクに特化している既存の大規模言語モデルよりも優れており、HPC環境の典型的なハードウェア制約とより密に一致している。
我々は、言語モデルの利点とHPCタスクの特定の要求を結びつけるために、我々の貢献を重要な橋と考えます。
OMPGPTの成功は、より広い範囲のHPCタスクに適用可能性と適応性を示唆し、計算効率と有効性の分野における新たな道を開くという確固たる基盤を築いている。
関連論文リスト
- CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [59.32609948217718]
我々は,Large Language Models(LLM)ベースのコード生成のための新しい透かし技術であるCodeIPを提案する。
CodeIPは、生成されたコードのセマンティクスを保持しながら、マルチビット情報の挿入を可能にする。
論文 参考訳(メタデータ) (2024-04-24T04:25:04Z) - Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs [36.409470894115074]
我々は、LLMのコード生成推論機能をより小さなモデルに転送することを目的としたCodePLANフレームワークを提案する。
提案手法は,APPSベンチマークにおいて,より小さなモデルのコード生成性能を130%以上向上させる。
論文 参考訳(メタデータ) (2024-03-20T03:09:54Z) - MPIrigen: MPI Code Generation through Domain-Specific Language Models [3.5352856644774806]
本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。
HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。
この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2024-02-14T12:24:21Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Domain-Specific Code Language Models: Unraveling the Potential for HPC
Codes and Tasks [5.250454826260407]
ソフトウェア開発におけるAIのトレンドは、様々なプログラミングタスクに対処するより大きな言語モデル(LLM)を開発することである。
ハイパフォーマンスコンピューティング(HPC)領域のタスクに適用されるLLMでさえ、巨大なサイズであり、トレーニングに高価な計算リソースを必要とする。
私たちは、既存のLMよりも桁違いに小さいが、パフォーマンスは良くないものの、HPC固有のLM、MonoCoderを構築しています。
論文 参考訳(メタデータ) (2023-12-20T15:11:06Z) - Scope is all you need: Transforming LLMs for HPC Code [5.0227775038998415]
本稿では,HPCにおける前処理やコンパイル中心のタスクに特化して設計された,Tokompilerという新しいトークン機構を提案する。
Tokompilerは言語プリミティブの知識を活用して、言語指向のトークンを生成し、コード構造をコンテキスト対応で理解する。
その結果、Tokompilerは従来のトークン化ツールに比べてコード補完精度と意味理解を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-08-18T10:12:03Z) - Benchmarking Large Language Model Capabilities for Conditional
Generation [15.437176676169997]
既存のアプリケーション固有の生成ベンチマークをPLMに適応させる方法について論じる。
PLMは異なるデータ体系に適用可能であり、複数の言語に一般化可能であることを示す。
論文 参考訳(メタデータ) (2023-06-29T08:59:40Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳(メタデータ) (2023-05-31T05:24:48Z) - Extrapolating Multilingual Understanding Models as Multilingual
Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。
少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:33:21Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。