論文の概要: Machine Learning-Driven Adaptive OpenMP For Portable Performance on Heterogeneous Systems

• arxiv url: http://arxiv.org/abs/2303.08873v1
• Date: Wed, 15 Mar 2023 18:37:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 18:17:32.045344
• Title: Machine Learning-Driven Adaptive OpenMP For Portable Performance on Heterogeneous Systems
• Title（参考訳）: 不均一システムにおける可搬性向上のための機械学習駆動型適応OpenMP
• Authors: Giorgis Georgakoudis, Konstantinos Parasyris, Chunhua Liao, David Beckingsale, Todd Gamblin, Bronis de Supinski
• Abstract要約: プログラムを新しい異種プラットフォームに適応させるのは面倒で、開発者は手動で実行パラメータの広大なスペースを探索する必要がある。 本稿では,機械学習による自律的適応のためのOpenMPの拡張を提案する。 私たちのソリューションには、新しい言語構成、コンパイラ変換、ランタイムサポートのセットが含まれています。
• 参考スコア（独自算出の注目度）: 1.885335997132172
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Heterogeneity has become a mainstream architecture design choice for building High Performance Computing systems. However, heterogeneity poses significant challenges for achieving performance portability of execution. Adapting a program to a new heterogeneous platform is laborious and requires developers to manually explore a vast space of execution parameters. To address those challenges, this paper proposes new extensions to OpenMP for autonomous, machine learning-driven adaptation. Our solution includes a set of novel language constructs, compiler transformations, and runtime support. We propose a producer-consumer pattern to flexibly define multiple, different variants of OpenMP code regions to enable adaptation. Those regions are transparently profiled at runtime to autonomously learn optimizing machine learning models that dynamically select the fastest variant. Our approach significantly reduces users' efforts of programming adaptive applications on heterogeneous architectures by leveraging machine learning techniques and code generation capabilities of OpenMP compilation. Using a complete reference implementation in Clang/LLVM we evaluate three use-cases of adaptive CPU-GPU execution. Experiments with HPC proxy applications and benchmarks demonstrate that the proposed adaptive OpenMP extensions automatically choose the best performing code variants for various adaptation possibilities, in several different heterogeneous platforms of CPUs and GPUs.
• Abstract（参考訳）: ハイパフォーマンスコンピューティングシステムを構築する上で、異種性は主要なアーキテクチャ設計の選択肢となっている。 しかし、異質性は実行時のパフォーマンスのポータビリティを実現する上で大きな課題となる。 プログラムを新しい異種プラットフォームに適応させるのは面倒で、開発者は手動で実行パラメータの広大なスペースを探索する必要がある。 これらの課題に対処するために,機械学習による自律的適応のためのOpenMPの新たな拡張を提案する。 私たちのソリューションには、新しい言語構成、コンパイラ変換、ランタイムサポートのセットが含まれています。 本稿では,OpenMPコード領域の複数の異なる変種を柔軟に定義し,適応を可能にするプロデューサ・コンシューマ・パターンを提案する。 これらのリージョンは実行時に透過的にプロファイルされ、最も高速なバリエーションを動的に選択する機械学習モデルの最適化を自律的に学習する。 提案手法は,OpenMPコンパイルの機械学習技術とコード生成機能を活用することで,異種アーキテクチャ上での適応アプリケーションをプログラムするユーザの労力を大幅に削減する。 Clang/LLVMの完全なリファレンス実装を使用して、適応CPU-GPU実行の3つのユースケースを評価する。 HPCプロキシアプリケーションとベンチマークによる実験により、提案された適応OpenMP拡張は、CPUとGPUの様々な異種プラットフォームにおいて、様々な適応可能性のための最適なコード変種を自動的に選択することを示した。

関連論文リスト

• Learning Performance-Improving Code Edits [141.0386475530937]
  本稿では,大規模な言語モデル (LLM) が,コード編集の正確性や性能向上を示唆する能力について検討する。 我々はPIEの例を使って10億のTransformer-decoderモデルであるCODEGENを微調整する。 CODEXとCODEGENはどちらも、25%以上のプログラムに対して2.5倍以上のスピードアップで、パフォーマンス改善の編集を生成することができる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)
• evosax: JAX-based Evolution Strategies [0.0]
  evosaxは進化最適化アルゴリズムのJAXベースのライブラリです。 evosaxは30の進化最適化アルゴリズムを実装している。 モジュラー方式で設計されており、シンプルなRequest-evaluate-tell APIを通じてフレキシブルな使用を可能にする。
  論文  参考訳（メタデータ） (2022-12-08T10:34:42Z)
• Towards making the most of NLP-based device mapping optimization for OpenCL kernels [5.6596607119831575]
  我々は、加速されたOpenCLカーネルのための最適なデバイス選択(CPUまたはGPU)の問題に取り組むCummins et al.、すなわちDeeptuneの開発を拡張した。 ソースコードの文脈情報を拡張した4つの異なるモデルを提案する。 実験の結果,提案手法はCumminsらの手法を上回り,予測精度を最大4%向上させることがわかった。
  論文  参考訳（メタデータ） (2022-08-30T10:20:55Z)
• Machine Learning for CUDA+MPI Design Rules [0.0]
  本稿では,キー+MPIプログラムの設計空間を自動探索する新しい戦略を提案する。 モンテカルロ木探索は、プログラムの性能に大きな影響を与えるデザイン空間の領域を発見する。 決定木は、各クラスの設計ルールを作成するために、機能とラベルに基づいて訓練される。
  論文  参考訳（メタデータ） (2022-03-04T19:17:00Z)
• Learning to Superoptimize Real-world Programs [79.4140991035247]
  本稿では,ニューラルシークエンス・ツー・シーケンス・モデルを用いて,実世界のプログラムを最適化するフレームワークを提案する。 我々は、x86-64アセンブリでオープンソースプロジェクトから抽出された25万以上の実世界の関数からなるデータセットであるBig Assemblyベンチマークを紹介した。
  論文  参考訳（メタデータ） (2021-09-28T05:33:21Z)
• StreamBlocks: A compiler for heterogeneous dataflow computing (technical report) [1.5293427903448022]
  この作業では、オープンソースのコンパイラとランタイムであるStreamBlocksを導入し、CALデータフロープログラミング言語を使用して、プラットフォーム間で計算処理を分割する。 StreamBlocksは、最高のハードウェア/ソフトウェアパーティションを特定するためのプロファイル誘導ツールを使用して、デザインスペースの探索をサポートする。
  論文  参考訳（メタデータ） (2021-07-20T08:46:47Z)
• Multiplierless MP-Kernel Machine For Energy-efficient Edge Devices [6.335302509003343]
  マルチプライアレスカーネルマシンを設計するための新しいフレームワークを提案する。 このフレームワークは、マージン伝播(MP)技術に基づいて、ピースワイズ線形(PWL)近似を使用する。 本研究では,FPGA(Field Programmable Gate Array)プラットフォーム向けに最適化されたハードウェアフレンドリーなMPベースの推論とオンライントレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-03T16:06:08Z)
• A Reinforcement Learning Environment for Polyhedral Optimizations [68.8204255655161]
  マルコフ決定過程(MDP)として多面体モデルにおける法的変換空間の形状に依存しない定式化を提案する。 変換を使う代わりに、定式化は可能なスケジュールの抽象空間に基づいている。 我々の総合的MDP定式化は、強化学習を用いて幅広いループで最適化ポリシーを学習することを可能にする。
  論文  参考訳（メタデータ） (2021-04-28T12:41:52Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。