論文の概要: SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation

• arxiv url: http://arxiv.org/abs/2403.16863v1
• Date: Mon, 25 Mar 2024 15:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:44:21.773133
• Title: SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation
• Title（参考訳）: SIP:確率的命令摂動によるGPUネイティブスケジューリングの自動チューニング
• Authors: Guoliang He, Eiko Yoneki,
• Abstract要約: 大型言語モデル(LLM)はその出現以来、重要なワークロードとなっている。 また、数十億のパラメータを持ち、大量のデータで訓練されているため、計算コストも高い。 近年、LLMのトレーニングと推論のための専用カーネルが開発されているため、ハードウェアリソースは可能な限り十分に活用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have become a significant workload since their appearance. However, they are also computationally expensive as they have billions of parameters and are trained with massive amounts of data. Thus, recent works have developed dedicated CUDA kernels for LLM training and inference instead of relying on compilergenerated ones, so that hardware resources are as fully utilized as possible. In this work, we explore the possibility of GPU native instruction optimization to further push the CUDA kernels to extreme performance. Contrary to prior works, we adopt an automatic optimization approach by defining a search space of possible GPU native instruction schedules, and then we apply stochastic search to perform optimization. Experiments show that SIP can further improve CUDA kernel throughput by automatically discovering better GPU native instruction schedules and the optimized schedules are tested by 10 million test samples.
• Abstract（参考訳）: 大型言語モデル(LLM)はその出現以来、重要なワークロードとなっている。 しかし、数十億のパラメータを持ち、大量のデータで訓練されているため、計算コストも高い。 したがって、最近の研究は、コンパイラ生成カーネルに頼らず、LLMトレーニングと推論のための専用CUDAカーネルを開発しており、ハードウェアリソースは可能な限り十分に活用されている。 本稿では,GPUネイティブ命令の最適化により,CUDAカーネルを極端に性能向上させる可能性について検討する。 従来の作業とは対照的に、GPUネイティブ命令スケジュールの探索空間を定義することで自動最適化アプローチを採用し、確率探索を適用して最適化を行う。 実験によると、SIPはGPUネイティブの命令スケジュールを自動的に見つけ、最適化されたスケジュールを1000万のテストサンプルでテストすることで、CUDAカーネルのスループットをさらに向上できる。

関連論文リスト

• Implementation and Analysis of GPU Algorithms for Vecchia Approximation [0.8057006406834466]
  Vecchia Approximationは計算複雑性を減らすために広く使われており、恥ずかしい並列アルゴリズムで計算することができる。 Vecchia Approximationのためにマルチコアソフトウェアが開発されたが、グラフィックス処理ユニット(GPU)上で動作するように設計されたソフトウェアは不足している。 我々の新しい手法は他の2つより優れており、GpGpU Rパッケージに表示されます。
  論文  参考訳（メタデータ） (2024-07-03T01:24:44Z)
• Optimal Kernel Tuning Parameter Prediction using Deep Sequence Models [0.44998333629984877]
  本稿では,深部列列列モデルを用いて,計算カーネルを管理する最適チューニングパラメータを予測する手法を提案する。 提案アルゴリズムは、AMD機械学習プリミティブライブラリであるMIOpenにおいて、様々な畳み込みカーネル上で90%以上の精度を達成することができる。
  論文  参考訳（メタデータ） (2024-04-15T22:25:54Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Providing Meaningful Data Summarizations Using Examplar-based Clustering in Industry 4.0 [67.80123919697971]
  我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。 提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-05-25T15:55:14Z)
• Searching CUDA code autotuning spaces with hardware performance counters: data from benchmarks running on various GPU architectures [0.0]
  我々は,パフォーマンス関連ソースコードパラメータを考慮に入れたベンチマークを開発し,GPUアーキテクチャのピークに近い性能に到達した。 当社のフレームワークであるKernel Tuning Toolkitでは、複数のGPU上での時間とハードウェアパフォーマンスカウンタを測定し、5つのベンチマークの完全なチューニングスペースを測定しました。 本稿では,検索者に対するロバストな評価や,他者との比較に用いたスクリプトについて詳述する。
  論文  参考訳（メタデータ） (2021-02-10T07:51:09Z)
• Systolic Computing on GPUs for Productive Performance [2.8064596842326575]
  我々は,GPU上で動作する高性能なシストリックアレイを生産的に構築する言語とコンパイラを提案する。 プログラマは、データフローのプロジェクションを線形シストリック配列に指定し、プロジェクションの詳細な実装はコンパイラに任せる。 コンパイラは指定されたプロジェクションを実装し、リニアシストリックアレイをGPUのSIMD実行ユニットとベクトルレジスタにマッピングする。
  論文  参考訳（メタデータ） (2020-10-29T18:49:54Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)
• GEVO: GPU Code Optimization using Evolutionary Computation [12.9965710635562]
  GEVOは最適化の機会を発見し、LLVM表現でGPUカーネルのパフォーマンスをチューニングするためのツールである。 GEVOは、NVIDIA Tesla P100上で、Rodiniaベンチマークスイートと機械学習モデルであるSVMとResNet18におけるGPUプログラムの実行時間を改善する。 GEVOはResNet18/CIFAR-10を用いた画像分類において1.79倍の性能向上を実現し、精度は1%未満である。
  論文  参考訳（メタデータ） (2020-04-17T09:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。