論文の概要: Deploying Machine Learning Models to Ahead-of-Time Runtime on Edge Using MicroTVM

• arxiv url: http://arxiv.org/abs/2304.04842v2
• Date: Fri, 14 Apr 2023 14:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 15:46:35.199291
• Title: Deploying Machine Learning Models to Ahead-of-Time Runtime on Edge Using MicroTVM
• Title（参考訳）: MicroTVMを用いたエッジ上での機械学習モデルデプロイ
• Authors: Chen Liu, Matthias Jobst, Liyuan Guo, Xinyue Shi, Johannes Partzsch, Christian Mayr
• Abstract要約: 我々は,学習済みモデルをバックエンド用のCソースライブラリに解析するエンドツーエンドのコードジェネレータを開発した。 特定の計算集約演算子は、専用アクセラレータに容易にオフロードできる。 ARM Cortex M4Fコア上で手動ジェスチャー認識実験を行う。
• 参考スコア（独自算出の注目度）: 2.144835105990896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past few years, more and more AI applications have been applied to edge devices. However, models trained by data scientists with machine learning frameworks, such as PyTorch or TensorFlow, can not be seamlessly executed on edge. In this paper, we develop an end-to-end code generator parsing a pre-trained model to C source libraries for the backend using MicroTVM, a machine learning compiler framework extension addressing inference on bare metal devices. An analysis shows that specific compute-intensive operators can be easily offloaded to the dedicated accelerator with a Universal Modular Accelerator (UMA) interface, while others are processed in the CPU cores. By using the automatically generated ahead-of-time C runtime, we conduct a hand gesture recognition experiment on an ARM Cortex M4F core.
• Abstract（参考訳）: 過去数年間で、エッジデバイスにより多くのAIアプリケーションが適用されるようになった。 しかし、pytorchやtensorflowといった機械学習フレームワークを使用したデータサイエンティストがトレーニングしたモデルは、エッジ上でシームレスに実行することはできない。 本稿では、ベアメタルデバイス上での推論に対応する機械学習コンパイラフレームワークであるmicrotvmを用いて、トレーニング済みモデルをバックエンドのcソースライブラリにパースするエンドツーエンドのコードジェネレータを開発した。 解析の結果、特定の計算集約型オペレーターはuniversal modular accelerator (uma)インターフェイスで専用アクセラレーターに容易にオフロードでき、他のオペレータはcpuコアで処理される。 自動生成された事前Cランタイムを使用することで,ARM Cortex M4Fコア上で手動ジェスチャー認識実験を行う。

関連論文リスト

• Machine Learning for Arbitrary Single-Qubit Rotations on an Embedded Device [1.3753825907341728]
  フィールドプログラマブル論理を用いた単一キュービットゲート合成に機械学習(ML)を用いる手法を提案する。 まず、ゲートの忠実度を測定するためのフルステートベクタにアクセス可能なシミュレーションに基づいて、モデルをブートストラップする。 次に,適応ランダム化ベンチマーク (ARB) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-20T04:59:38Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• ML-driven Hardware Cost Model for MLIR [1.2987894327817158]
  高レベルMLIRのための機械学習に基づくコストモデルを開発した。 MLIRをラ・NLPモデルのテキスト入力として考えることにより、現代のNLP研究からよく知られた技術を適用することができる。 これらのモデルにより,種々のハードウェア特性に対する誤差境界が低く,合理的に優れた推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-02-14T11:32:47Z)
• End-to-end AI framework for interpretable prediction of molecular and crystal properties [3.8878792624088856]
  このフレームワークは、CGCNN、PhysNet、SchNet、MPNN、MPNN-transformer、TorchMD-NETといった最先端AIモデルに基づいている。 これらのAIモデルとベンチマークQM9、hMOF、MD17データセットを併用して、モデルがユーザ指定の材料特性を予測する方法を示す。
  論文  参考訳（メタデータ） (2022-12-21T19:27:51Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
  汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。 MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。 また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2022-04-27T14:00:48Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• CrypTen: Secure Multi-Party Computation Meets Machine Learning [25.21435023269728]
  CrypTenは、現代の機械学習フレームワークに共通する抽象化を通じて、人気のあるセキュアなMPCプリミティブを公開するソフトウェアフレームワークである。 本稿では,CrypTenの設計とテキスト分類,音声認識,画像分類のための最先端モデルの性能評価を行う。
  論文  参考訳（メタデータ） (2021-09-02T14:36:55Z)
• Automated Machine Learning Techniques for Data Streams [91.3755431537592]
  本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。 この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:42:46Z)
• A Tensor Compiler for Unified Machine Learning Prediction Serving [8.362773007171118]
  企業における機械学習(ML)の採用には、よりシンプルで効率的なソフトウェアインフラが必要である。 モデルのスコアリングは、モデルが一度訓練されるが、何度も使用されるため、インフラストラクチャの複雑さとコストに主要な貢献をする。 本稿では,HUMMINGBIRDを提案する。HUMMINGBIRDは,計算演算子と従来のMLモデルを小さなテンソル演算系にコンパイルする新しいモデルスコアリング手法である。
  論文  参考訳（メタデータ） (2020-10-09T21:02:47Z)
• Neural Network Compression Framework for fast model inference [59.65531492759006]
  我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。 様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。 フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
  論文  参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。