論文の概要: Learning to Parallelize with OpenMP by Augmented Heterogeneous AST Representation

• arxiv url: http://arxiv.org/abs/2305.05779v1
• Date: Tue, 9 May 2023 21:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 15:14:08.429901
• Title: Learning to Parallelize with OpenMP by Augmented Heterogeneous AST Representation
• Title（参考訳）: Augmented Heterogeneous AST Representation によるOpenMPの並列化学習
• Authors: Le Chen, Quazi Ishtiaque Mahmud, Hung Phan, Nesreen K. Ahmed, Ali Jannesari
• Abstract要約: コードに異質な拡張抽象構文木(Augmented-AST)表現を利用するグラフベースの新しい学習手法Graph2Parを提案する。 我々は18598並列化可能なOMP_Serialデータセットと13972非並列化可能なループを作成し、機械学習モデルをトレーニングする。 提案手法は,85%の精度で並列化可能なコード領域検出の精度を実現し,最先端のトークンベース機械学習手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.750212995537728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting parallelizable code regions is a challenging task, even for experienced developers. Numerous recent studies have explored the use of machine learning for code analysis and program synthesis, including parallelization, in light of the success of machine learning in natural language processing. However, applying machine learning techniques to parallelism detection presents several challenges, such as the lack of an adequate dataset for training, an effective code representation with rich information, and a suitable machine learning model to learn the latent features of code for diverse analyses. To address these challenges, we propose a novel graph-based learning approach called Graph2Par that utilizes a heterogeneous augmented abstract syntax tree (Augmented-AST) representation for code. The proposed approach primarily focused on loop-level parallelization with OpenMP. Moreover, we create an OMP\_Serial dataset with 18598 parallelizable and 13972 non-parallelizable loops to train the machine learning models. Our results show that our proposed approach achieves the accuracy of parallelizable code region detection with 85\% accuracy and outperforms the state-of-the-art token-based machine learning approach. These results indicate that our approach is competitive with state-of-the-art tools and capable of handling loops with complex structures that other tools may overlook.
• Abstract（参考訳）: 並列化可能なコード領域の検出は、経験豊富な開発者にとっても難しい作業です。 近年,自然言語処理における機械学習の成功を鑑みて,並列化を含むコード解析やプログラム合成に機械学習を用いることが検討されている。 しかし、並列性検出に機械学習技術を適用することは、トレーニングに適切なデータセットがないこと、豊富な情報を持つ効果的なコード表現、多種多様な分析のためにコードに潜む特徴を学ぶのに適した機械学習モデルなど、いくつかの課題をもたらす。 このような課題に対処するため,コードにヘテロジニアスな抽象構文木(Augmented-AST)を用いたグラフベースの新しい学習手法Graph2Parを提案する。 提案手法は主にOpenMPによるループレベルの並列化に焦点を当てた。 さらに,並列化可能な18598と並列化できない13972のループを持つomp\_serialデータセットを作成し,機械学習モデルをトレーニングする。 提案手法は,85%の精度で並列化可能なコード領域検出の精度を実現し,最先端のトークンベース機械学習手法よりも優れていることを示す。 これらの結果から,本手法は最先端のツールと競合し,他のツールが見落としているような複雑な構造を持つループを処理できることが示唆された。

関連論文リスト

• OMPar: Automatic Parallelization with AI-Driven Source-to-Source Compilation [4.266086505323998]
  本稿では,OpenMP pragmasを用いたC/C++コードの並列化を自動化するAI駆動型ツールであるOMParを紹介する。 OMParは、ループ並列化ポテンシャルを評価するOMPifyと、正確なOpenMPパグマを生成する新しい微調整モデルであるMonoCoder-OMPの2つの主要なコンポーネントを通じて、LLM(Large Language Models)を統合している。
  論文  参考訳（メタデータ） (2024-09-23T07:39:01Z)
• Topological Methods in Machine Learning: A Tutorial for Practitioners [4.297070083645049]
  トポロジカル機械学習(TML)は、代数的トポロジの技法を利用して複雑なデータ構造を分析する分野である。 このチュートリアルは、2つの重要なTMLテクニック、永続的ホモロジーとMapperアルゴリズムの包括的な紹介を提供する。 アクセシビリティを高めるために、私たちはデータ中心のアプローチを採用し、読者はこれらのテクニックを関連するタスクに適用したハンズオン体験を得ることができる。
  論文  参考訳（メタデータ） (2024-09-04T17:44:52Z)
• From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models [63.188607839223046]
  この調査は、推論中に計算をスケールするメリットに焦点を当てている。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
  論文  参考訳（メタデータ） (2024-06-24T17:45:59Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Advising OpenMP Parallelization via a Graph-Based Approach with Transformers [2.393682571484038]
  我々は,OpenMPのプラグマと共有メモリ属性を並列コードで検出し,予測する,OMPifyと呼ばれる新しい手法を提案する。 OMPifyは、ソースコードのグラフベースの表現を利用するTransformerベースのモデルに基づいている。 以上の結果から,OMPifyは汎用および人気の高いChatGPTやPragFormerモデルなど,既存のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-16T16:56:10Z)
• ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
  抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。 提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。 その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T05:52:59Z)
• GPU-Accelerated Machine Learning in Non-Orthogonal Multiple Access [71.58925117604039]
  非直交多重アクセス(Noma)は、将来の5Gおよび6Gネットワークに必要な大規模な接続を可能にする興味深い技術である。 線形処理と非線形処理の両方の利点を組み合わせたニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-13T09:38:23Z)
• Exploring Techniques for the Analysis of Spontaneous Asynchronicity in MPI-Parallel Applications [0.8889304968879161]
  マイクロベンチマークと現実的なプロキシアプリケーションを,2つの異なるスーパーコンピュータプラットフォーム上で通常の計算通信構造で実行します。 完全MPIトレースよりもはるかに小さいデータセットから,デシンクロナイゼーションパターンを容易に識別できることを示す。
  論文  参考訳（メタデータ） (2022-05-27T13:19:07Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。