論文の概要: Modeling Parallel Programs using Large Language Models

• arxiv url: http://arxiv.org/abs/2306.17281v1
• Date: Thu, 29 Jun 2023 19:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 14:02:13.662333
• Title: Modeling Parallel Programs using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた並列プログラムのモデリング
• Authors: Daniel Nichols, Aniruddha Marathe, Harshitha Menon, Todd Gamblin, Abhinav Bhatele
• Abstract要約: 大規模言語モデル(LLM)が,高性能および科学的コードに特有のタスクにどのように適用できるかを示す。 並列コードで訓練された新しいモデルHPC-Coderを導入する。
• 参考スコア（独自算出の注目度）: 2.906142380269856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parallel software codes in high performance computing (HPC) continue to grow in complexity and scale as we enter the exascale era. A diverse set of emerging hardware and programming paradigms make developing, optimizing, and maintaining parallel software burdensome for developers. One way to alleviate some of these burdens is with automated development and analysis tools. Such tools can perform complex and/or remedial tasks for developers that increase their productivity and decrease the chance for error. So far, such tools for code development and performance analysis have been limited in the complexity of tasks they can perform. However, with recent advancements in language modeling, and the wealth of code related data that is now available online, these tools have started to utilize predictive language models to automate more complex tasks. In this paper, we show how large language models (LLMs) can be applied to tasks specific to high performance and scientific codes. We train LLMs using code and performance data that is specific to parallel codes. We compare several recent LLMs on HPC related tasks and introduce a new model, HPC-Coder, trained on parallel code. In our experiments we show that this model can auto-complete HPC functions where general models cannot, decorate for loops with OpenMP pragmas, and model performance changes in two scientific application repositories.
• Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)における並列ソフトウェアコードは、エクサスケール時代に入るにつれて、複雑さとスケールが増し続けている。 多様なハードウェアとプログラミングパラダイムによって、並列ソフトウェアの開発、最適化、保守が開発者の負担になる。 これらの負担を軽減する方法のひとつは、自動開発と分析ツールだ。 このようなツールは、生産性を高め、エラーの可能性を減らす開発者のために、複雑で/または改善的なタスクを実行することができる。 これまでのところ、コード開発やパフォーマンス分析のためのツールは、実行可能なタスクの複雑さに制限されている。 しかし、近年の言語モデリングの進歩と、現在オンラインで利用できるコード関連データの豊富さにより、これらのツールは予測言語モデルを利用してより複雑なタスクを自動化するようになった。 本稿では,大規模言語モデル(LLM)が,高性能および科学的コードに特有のタスクにどのように適用できるかを示す。 並列コードに特有のコードとパフォーマンスデータを用いてLCMをトレーニングする。 我々は、HPC関連タスクにおける最近のLLMを比較し、並列コードで訓練された新しいモデルHPC-Coderを導入する。 実験では,一般モデルでは不可能なHPC関数の自動補完,OpenMPプラグマを用いたループのデコレーション,および2つの科学応用リポジトリにおける性能変化のモデル化が可能であることを示す。

関連論文リスト

• An Empirical Study on Self-correcting Large Language Models for Data Science Code Generation [1.335664823620186]
  大規模言語モデル(LLM)は最近、ソフトウェア工学のタスクに多くの応用を進歩させた。 CoT-SelfEvolveは、自己修正プロセスを通じて、反復的かつ自動的にコードを洗練する。
  論文  参考訳（メタデータ） (2024-08-28T09:19:09Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• MPIrigen: MPI Code Generation through Domain-Specific Language Models [3.5352856644774806]
  本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。 HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。 この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-14T12:24:21Z)
• The Landscape and Challenges of HPC Research and LLMs [12.57518012358534]
  大規模言語モデル(LLM)はディープラーニングの分野に革命をもたらした。 エンコーダデコーダモデルとプロンプトベースのテクニックは、自然言語処理とコードベースのタスクにとって大きな可能性を示している。
  論文  参考訳（メタデータ） (2024-02-03T04:21:07Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Can Large Language Models Write Parallel Code? [0.5317767988097261]
  大規模言語モデルは、ソフトウェア開発の一般的なツールになりつつある。 本稿では,最先端言語モデルによる並列コード生成能力について検討する。
  論文  参考訳（メタデータ） (2024-01-23T08:25:12Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• Modelling Concurrency Bugs Using Machine Learning [0.0]
  このプロジェクトは、一般的な機械学習アプローチと最近の機械学習アプローチを比較することを目的としている。 我々は、実生活(同時)プログラムをシミュレートする範囲で生成する合成データセットを定義する。 各種機械学習モデルモデルの基本的な限界に関する仮説を定式化する。
  論文  参考訳（メタデータ） (2023-05-08T17:30:24Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。