論文の概要: MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers

• arxiv url: http://arxiv.org/abs/2305.09438v3
• Date: Wed, 30 Aug 2023 14:56:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 17:13:08.823552
• Title: MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers
• Title（参考訳）: MPI-rical:データ駆動型MPI分散並列処理支援
• Authors: Nadav Schneider, Tal Kadosh, Niranjan Hasabnis, Timothy Mattson, Yuval Pinter, Gal Oren
• Abstract要約: メッセージパッシングインタフェース(MPI)は、複数のノードにわたる分散メモリ並列化において重要な役割を果たす。 データ駆動型プログラミング支援ツールであるMPI-RICALを開発した。 MPICodeCorpusは、GitHub上の15,000以上のオープンソースリポジトリをマイニングして作成される、MPIベースの並列プログラムの最初の公開コーパスです。
• 参考スコア（独自算出の注目度）: 3.2164100882807913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message Passing Interface (MPI) plays a crucial role in distributed memory parallelization across multiple nodes. However, parallelizing MPI code manually, and specifically, performing domain decomposition, is a challenging, error-prone task. In this paper, we address this problem by developing MPI-RICAL, a novel data-driven, programming-assistance tool that assists programmers in writing domain decomposition based distributed memory parallelization code. Specifically, we train a supervised language model to suggest MPI functions and their proper locations in the code on the fly. We also introduce MPICodeCorpus, the first publicly available corpus of MPI-based parallel programs that is created by mining more than 15,000 open-source repositories on GitHub. Experimental results have been done on MPICodeCorpus and more importantly, on a compiled benchmark of MPI-based parallel programs for numerical computations that represent real-world scientific applications. MPI-RICAL achieves F1 scores between 0.87-0.91 on these programs, demonstrating its accuracy in suggesting correct MPI functions at appropriate code locations.. The source code used in this work, as well as other relevant sources, are available at: https://github.com/Scientific-Computing-Lab-NRCN/MPI-rical
• Abstract（参考訳）: メッセージパッシングインタフェース(MPI)は、複数のノードにわたる分散メモリ並列化において重要な役割を果たす。 しかし、mpiコードを手動で、特にドメイン分割を実行することは、困難でエラーやすいタスクです。 本稿では,ドメイン分割に基づく分散メモリ並列化コードを書くプログラマを支援する,新しいデータ駆動型プログラミング支援ツールであるmpi-ricalを開発した。 具体的には、教師付き言語モデルをトレーニングし、MPI関数とそのコード中の適切な位置をオンザフライで提案する。 MPICodeCorpusはMPIベースの並列プログラムの最初の公開コーパスで、GitHub上の15,000以上のオープンソースリポジトリをマイニングして作成します。 MPICodeCorpusおよびさらに重要なことは、実世界の科学応用を表す数値計算のためのMPIベースの並列プログラムのベンチマークで実験結果が得られたことである。 MPI-RICALはこれらのプログラムで0.87-0.91のスコアを達成し、適切なコード位置で適切なMPI関数を提案する精度を示した。 . この作業で使用されたソースコードと他の関連するソースは、https://github.com/Scientific-Computing-Lab-NRCN/MPI-rical.comで公開されている。

関連論文リスト

• OMPar: Automatic Parallelization with AI-Driven Source-to-Source Compilation [4.266086505323998]
  本稿では,OpenMP pragmasを用いたC/C++コードの並列化を自動化するAI駆動型ツールであるOMParを紹介する。 OMParは、ループ並列化ポテンシャルを評価するOMPifyと、正確なOpenMPパグマを生成する新しい微調整モデルであるMonoCoder-OMPの2つの主要なコンポーネントを通じて、LLM(Large Language Models)を統合している。
  論文  参考訳（メタデータ） (2024-09-23T07:39:01Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• MPIrigen: MPI Code Generation through Domain-Specific Language Models [3.5352856644774806]
  本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。 HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。 この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-14T12:24:21Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• AUTOPARLLM: GNN-Guided Automatic Code Parallelization using Large Language Models [13.514916184776107]
  AUTOPARLLMは、並列性を自動的に発見し、シーケンシャルなプログラムの並列バージョンを生成するためのフレームワークである。 NAS Parallel Benchmark と Rodinia Benchmark の2つの有名なベンチマークスイートを11のアプリケーションで評価した。 この結果から, AUTOPARLLM は並列コード生成タスクにおける最先端の LLM モデルの改善に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T06:51:16Z)
• Advising OpenMP Parallelization via a Graph-Based Approach with Transformers [2.393682571484038]
  我々は,OpenMPのプラグマと共有メモリ属性を並列コードで検出し,予測する,OMPifyと呼ばれる新しい手法を提案する。 OMPifyは、ソースコードのグラフベースの表現を利用するTransformerベースのモデルに基づいている。 以上の結果から,OMPifyは汎用および人気の高いChatGPTやPragFormerモデルなど,既存のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-16T16:56:10Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
  並列量子プログラミングのための言語拡張を提案する。 QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。 並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
  論文  参考訳（メタデータ） (2022-10-07T16:35:16Z)
• Learning to Parallelize in a Shared-Memory Environment with Transformers [3.340971990034025]
  OpenMPは共有メモリ並列化スキームを実装する最も包括的なAPIである。 多くのソース・トゥ・ソース(S2S)コンパイラが長年にわたって作成され、OpenMPディレクティブをコードに自動的に挿入するタスクをこなしてきた。 本研究では,S2Sコンパイラを完全に置き換えるために,ML技術,特に自然言語処理(NLP)の最近の進歩を活用することを提案する。
  論文  参考訳（メタデータ） (2022-04-27T10:39:52Z)
• Lossless Compression of Efficient Private Local Randomizers [55.657133416044104]
  Locally Differentially Private (LDP) Reportsは、フェデレーション設定における統計と機械学習の収集に一般的に使用されます。 多くの場合、最もよく知られたldpアルゴリズムは、クライアントデバイスからサーバに強制的に大きなメッセージを送信する必要がある。 これにより、LDPアルゴリズムの通信コストの削減に大きく貢献しています。
  論文  参考訳（メタデータ） (2021-02-24T07:04:30Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。