Fugu-MT 論文翻訳(概要): Evaluation of OpenAI Codex for HPC Parallel Programming Models Kernel Generation

論文の概要: Evaluation of OpenAI Codex for HPC Parallel Programming Models Kernel Generation

arxiv url: http://arxiv.org/abs/2306.15121v1
Date: Tue, 27 Jun 2023 00:11:31 GMT
ステータス: 処理完了
システム内更新日: 2023-06-28 15:07:50.210507
Title: Evaluation of OpenAI Codex for HPC Parallel Programming Models Kernel Generation
Title（参考訳）: HPC並列プログラミングモデルカーネル生成のためのOpenAIコーデックスの評価
Authors: William F. Godoy, Pedro Valero-Lara, Keita Teranishi, Prasanna Balaprakash, Jeffrey S. Vetter
Abstract要約: 高性能コンピューティングにおける基本数値カーネル上でのAI支援生成能力の評価を行った。生成したカーネルコードを様々な言語対応プログラミングモデルでテストする。本稿では,各プロンプトに対して与えられた10のプロンプトに関する習熟度尺度を提案する。
参考スコア（独自算出の注目度）: 1.7646846505225735
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We evaluate AI-assisted generative capabilities on fundamental numerical kernels in high-performance computing (HPC), including AXPY, GEMV, GEMM, SpMV, Jacobi Stencil, and CG. We test the generated kernel codes for a variety of language-supported programming models, including (1) C++ (e.g., OpenMP [including offload], OpenACC, Kokkos, SyCL, CUDA, and HIP), (2) Fortran (e.g., OpenMP [including offload] and OpenACC), (3) Python (e.g., numba, Numba, cuPy, and pyCUDA), and (4) Julia (e.g., Threads, CUDA.jl, AMDGPU.jl, and KernelAbstractions.jl). We use the GitHub Copilot capabilities powered by OpenAI Codex available in Visual Studio Code as of April 2023 to generate a vast amount of implementations given simple <kernel> + <programming model> + <optional hints> prompt variants. To quantify and compare the results, we propose a proficiency metric around the initial 10 suggestions given for each prompt. Results suggest that the OpenAI Codex outputs for C++ correlate with the adoption and maturity of programming models. For example, OpenMP and CUDA score really high, whereas HIP is still lacking. We found that prompts from either a targeted language such as Fortran or the more general-purpose Python can benefit from adding code keywords, while Julia prompts perform acceptably well for its mature programming models (e.g., Threads and CUDA.jl). We expect for these benchmarks to provide a point of reference for each programming model's community. Overall, understanding the convergence of large language models, AI, and HPC is crucial due to its rapidly evolving nature and how it is redefining human-computer interactions.
Abstract（参考訳）: 我々は、AXPY, GEMV, GEMM, SpMV, Jacobi Stencil, CGを含む、高性能コンピューティング(HPC)の基本数値カーネルにおけるAI支援生成能力を評価する。我々は、(1)c++(例えば、openmp(outloadを含む)、openacc、kokkos、sycl、cuda、hipを含む)、(2)fortran(例えば、openmp(offloadを含む)、(3)python(numba、numba、cupy、pycudaを含む)、(4)julia(例えば、threads、cuda.jl、amdgpu.jl、kernelabstractions.jl)を含む、言語サポートプログラミングモデルで生成されたカーネルコードをテストします。私たちは2023年4月現在、Visual Studio Codeで利用可能なOpenAI CodexをベースとしたGitHub Copilot機能を使って、シンプルな<kernel> + <ming model> + <optional hints>プロンプト変種が与えられた大量の実装を生成しています。結果の定量化と比較を行うため,各プロンプトに対して与えられた提案10項目の精度指標を提案する。その結果、c++のopenaiコーデックス出力は、プログラミングモデルの採用と成熟度と相関することが示唆された。例えば、OpenMPとCUDAのスコアは非常に高く、HIPはまだ不足しています。 Fortranのようなターゲット言語からのプロンプトや、より汎用的なPythonからのプロンプトは、コードキーワードの追加の恩恵を受けるが、Juliaのプロンプトは、成熟したプログラミングモデル(ThreadsやCUDA.jlなど)に対して受け入れられる。これらのベンチマークが各プログラミングモデルのコミュニティに参照ポイントを提供することを期待しています。全体として、大規模言語モデル、AI、HPCの収束を理解することは、その急速に進化する性質と、それが人間とコンピュータの相互作用を再定義している理由により重要である。

関連論文リスト

Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
論文参考訳（メタデータ） (2024-05-25T19:40:50Z)
Evaluating AI-generated code for C++, Fortran, Go, Java, Julia, Matlab, Python, R, and Rust [0.1906498126334485]
本研究では,ChatGPTバージョン3.5および4の多種多様なプログラミング言語におけるコード生成能力を評価する。我々はChatGPTに、単純な数値積分、共役勾配解法、並列1次元ステンシルに基づく熱方程式解法という3つの異なる符号を生成するよう依頼した。分析の焦点は、コードのコンパイル、実行時のパフォーマンス、正確性でした。
論文参考訳（メタデータ） (2024-05-21T17:04:37Z)
Comparing Llama-2 and GPT-3 LLMs for HPC kernels generation [3.070523453466106]
我々は、オープンソースのLlama-2モデルを用いて、高性能な計算カーネルを生成することを評価する。我々のゴールは、Llama-2と元のGPT-3ベースラインの精度を、同様の測定値を用いて比較することである。
論文参考訳（メタデータ） (2023-09-12T01:19:54Z)
Creating a Dataset for High-Performance Computing Code Translation using LLMs: A Bridge Between OpenMP Fortran and C++ [7.872005563259838]
定量化(CodeBLEU)法と定性的評価(人的評価)法の両方を用いて,本データセットの有効性を評価する。事前のコーディング知識を持たないモデルでは、CodeBLEUスコアで$mathbftimes5.1$が上昇した。コーディングに親しみのあるモデルでは、$mathbftimes9.9$-foldが顕著に増加した。
論文参考訳（メタデータ） (2023-07-15T02:35:51Z)
Exploring Continual Learning for Code Generation Models [80.78036093054855]
継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
論文参考訳（メタデータ） (2023-07-05T16:58:39Z)
Advising OpenMP Parallelization via a Graph-Based Approach with Transformers [2.393682571484038]
我々は,OpenMPのプラグマと共有メモリ属性を並列コードで検出し,予測する,OMPifyと呼ばれる新しい手法を提案する。 OMPifyは、ソースコードのグラフベースの表現を利用するTransformerベースのモデルに基づいている。以上の結果から,OMPifyは汎用および人気の高いChatGPTやPragFormerモデルなど,既存のアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-16T16:56:10Z)
HDCC: A Hyperdimensional Computing compiler for classification on embedded systems and high-performance computing [58.720142291102135]
この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。 nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
論文参考訳（メタデータ） (2023-04-24T19:16:03Z)
Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文参考訳（メタデータ） (2021-05-20T17:58:42Z)
Extending Python for Quantum-Classical Computing via Quantum Just-in-Time Compilation [78.8942067357231]
Pythonは、その柔軟性、ユーザビリティ、可読性、開発者の生産性を重視することで有名な人気のあるプログラミング言語です。量子ジャスト・イン・タイム・コンパイルのための堅牢なC++インフラストラクチャを通じて、異種量子古典計算を可能にするPythonの言語拡張を提案する。
論文参考訳（メタデータ） (2021-05-10T21:11:21Z)
Extending C++ for Heterogeneous Quantum-Classical Computing [56.782064931823015]
qcorはC++とコンパイラの実装の言語拡張で、異種量子古典プログラミング、コンパイル、単一ソースコンテキストでの実行を可能にする。我々の研究は、量子言語で高レベルな量子カーネル(関数)を表現できる、第一種C++コンパイラを提供する。
論文参考訳（メタデータ） (2020-10-08T12:49:07Z)
Hybrid Models for Learning to Branch [81.93868699246214]
我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
論文参考訳（メタデータ） (2020-06-26T21:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。