論文の概要: Optimising AI Training Deployments using Graph Compilers and Containers
- arxiv url: http://arxiv.org/abs/2008.11675v2
- Date: Thu, 17 Sep 2020 09:23:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 22:13:47.330757
- Title: Optimising AI Training Deployments using Graph Compilers and Containers
- Title（参考訳）: グラフコンパイラとコンテナを使用したAIトレーニングデプロイメントの最適化
- Authors: Nina Mujkanovic and Karthee Sivalingam and Alfio Lazzaro
- Abstract要約: ディープニューラルネットワーク(DNN)やディープラーニング(DL)に基づくAIアプリケーションは、分析や音声認識といった問題の解決に成功したことで人気を集めている。
我々はMODAKを導入し、コンテナ技術とAI用のグラフコンパイラをレビューする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Intelligence (AI) applications based on Deep Neural Networks (DNN)
or Deep Learning (DL) have become popular due to their success in solving
problems likeimage analysis and speech recognition. Training a DNN is
computationally intensive and High Performance Computing(HPC) has been a key
driver in AI growth. Virtualisation and container technology have led to the
convergence of cloud and HPC infrastructure. These infrastructures with diverse
hardware increase the complexity of deploying and optimising AI training
workloads. AI training deployments in HPC or cloud can be optimised with
target-specific libraries, graph compilers, andby improving data movement or
IO. Graph compilers aim to optimise the execution of a DNN graph by generating
an optimised code for a target hardware/backend. As part of SODALITE (a Horizon
2020 project), MODAK tool is developed to optimise application deployment in
software defined infrastructures. Using input from the data scientist and
performance modelling, MODAK maps optimal application parameters to a target
infrastructure and builds an optimised container. In this paper, we introduce
MODAK and review container technologies and graph compilers for AI. We
illustrate optimisation of AI training deployments using graph compilers and
Singularity containers. Evaluation using MNIST-CNN and ResNet50 training
workloads shows that custom built optimised containers outperform the official
images from DockerHub. We also found that the performance of graph compilers
depends on the target hardware and the complexity of the neural network.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)やディープ・ラーニング(DL)に基づく人工知能(AI)アプリケーションは、画像解析や音声認識といった問題の解決に成功して普及している。
DNNのトレーニングは計算集約的であり、ハイパフォーマンスコンピューティング(HPC)がAIの成長の鍵を握っている。
仮想化とコンテナ技術は、クラウドとHPCインフラストラクチャの収束につながった。
多様なハードウェアを備えたこれらのインフラストラクチャは、AIトレーニングワークロードのデプロイと最適化の複雑さを高めます。
HPCやクラウドでのAIトレーニングデプロイメントは、ターゲット固有のライブラリ、グラフコンパイラ、データ移動やIOの改善によって最適化できる。
グラフコンパイラは、ターゲットハードウェア/バックエンドの最適化コードを生成することにより、DNNグラフの実行を最適化することを目指している。
sodalite(horizon 2020プロジェクト)の一部としてmodakツールが開発され、ソフトウェア定義インフラストラクチャにおけるアプリケーションのデプロイを最適化する。
データサイエンティストとパフォーマンスモデリングからの入力を使用して、MODAKは最適なアプリケーションパラメータをターゲットインフラストラクチャにマッピングし、最適化されたコンテナを構築する。
本稿では、MODAKを導入し、コンテナ技術とAI用のグラフコンパイラについてレビューする。
グラフコンパイラとSingularityコンテナを用いたAIトレーニングデプロイメントの最適化について説明する。
MNIST-CNNとResNet50のトレーニングワークロードを使用した評価は、カスタムビルドされた最適化コンテナがDockerHubの公式イメージより優れていることを示している。
また,グラフコンパイラの性能は,対象ハードウェアとニューラルネットワークの複雑さに依存することがわかった。
関連論文リスト
- oneDNN Graph Compiler: A Hybrid Approach for High-Performance Deep
Learning Compilation [8.64220475114214]
oneDNN Graph Compilerは、コンパイラ最適化とエキスパートチューニングされたカーネルの両方のテクニックをハイパフォーマンスコード生成に使用するためのハイブリッドアプローチを採用している。
実験結果から,既存のテンソルコンパイラやプリミティブライブラリよりも高い性能を示した。
論文 参考訳（メタデータ） (2023-01-03T19:52:17Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Benchmarking GPU and TPU Performance with Graph Neural Networks [0.0]
この研究は、現実のパターン認識問題を解決するために開発されたグラフニューラルネットワーク(GNN)を用いてGPUとTPUのパフォーマンストレーニングを分析し、比較する。
スパースデータに作用する新しいモデルのクラスを特徴付けることは、ディープラーニングライブラリや将来のAIアクセラレータの設計を最適化するのに有効である。
論文 参考訳（メタデータ） (2022-10-21T21:03:40Z) - Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。
パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
論文 参考訳（メタデータ） (2022-08-26T16:01:23Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。
提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
論文 参考訳（メタデータ） (2022-04-22T21:57:00Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Automated Design Space Exploration for optimised Deployment of DNN on
Arm Cortex-A CPUs [13.628734116014819]
組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。
テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。
我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
論文 参考訳（メタデータ） (2020-06-09T11:00:06Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-02T06:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。