論文の概要: TensorFlow Lite Micro: Embedded Machine Learning on TinyML Systems
- arxiv url: http://arxiv.org/abs/2010.08678v3
- Date: Sat, 13 Mar 2021 13:41:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 09:12:19.665518
- Title: TensorFlow Lite Micro: Embedded Machine Learning on TinyML Systems
- Title（参考訳）: TensorFlow Lite Micro: TinyMLシステム上での組み込み機械学習
- Authors: Robert David, Jared Duke, Advait Jain, Vijay Janapa Reddi, Nat
Jeffries, Jian Li, Nick Kreeger, Ian Nappier, Meghna Natraj, Shlomi Regev,
Rocky Rhodes, Tiezhen Wang, Pete Warden
- Abstract要約: 組み込みデバイス上でのディープラーニング推論は、小さな組み込みデバイスが一様であることから、無数のアプリケーションで溢れている分野である。
組み込みデバイス上でのディープラーニング推論は、小さな組み込みデバイスが一様であることから、無数のアプリケーションで溢れている分野である。
組み込みシステム上でディープラーニングモデルを実行するための,オープンソースのML推論フレームワークであるLite Microを紹介した。
- 参考スコア（独自算出の注目度）: 5.188829601887422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning inference on embedded devices is a burgeoning field with myriad
applications because tiny embedded devices are omnipresent. But we must
overcome major challenges before we can benefit from this opportunity. Embedded
processors are severely resource constrained. Their nearest mobile counterparts
exhibit at least a 100 -- 1,000x difference in compute capability, memory
availability, and power consumption. As a result, the machine-learning (ML)
models and associated ML inference framework must not only execute efficiently
but also operate in a few kilobytes of memory. Also, the embedded devices'
ecosystem is heavily fragmented. To maximize efficiency, system vendors often
omit many features that commonly appear in mainstream systems, including
dynamic memory allocation and virtual memory, that allow for cross-platform
interoperability. The hardware comes in many flavors (e.g., instruction-set
architecture and FPU support, or lack thereof). We introduce TensorFlow Lite
Micro (TF Micro), an open-source ML inference framework for running
deep-learning models on embedded systems. TF Micro tackles the efficiency
requirements imposed by embedded-system resource constraints and the
fragmentation challenges that make cross-platform interoperability nearly
impossible. The framework adopts a unique interpreter-based approach that
provides flexibility while overcoming these challenges. This paper explains the
design decisions behind TF Micro and describes its implementation details.
Also, we present an evaluation to demonstrate its low resource requirement and
minimal run-time performance overhead.
- Abstract（参考訳）: 組み込みデバイス上でのディープラーニング推論は、無数のアプリケーションで急成長している分野である。
しかし、この機会から恩恵を受ける前に、大きな課題を克服しなければなりません。
組み込みプロセッサはリソースの制約が厳しい。
最寄りのモバイル端末は、計算能力、メモリ可用性、消費電力の少なくとも100倍–1000倍の差がある。
その結果、機械学習(ML)モデルと関連するML推論フレームワークは、効率的に実行されるだけでなく、数キロバイトのメモリで動作する必要がある。
また、組み込みデバイスのエコシステムは断片化されている。
効率を最大化するために、システムベンダーは、動的メモリ割り当てや仮想メモリを含むメインストリームシステムで一般的に見られる多くの機能を省略し、クロスプラットフォームの相互運用性を実現する。
ハードウェアには多くのフレーバーがある(例えば、命令セットアーキテクチャとFPUサポート、またはその欠如)。
組み込みシステム上でディープラーニングモデルを実行するためのオープンソースのML推論フレームワークであるTensorFlow Lite Micro(TF Micro)を紹介する。
TF Microは、組み込みシステムのリソース制約によって課される効率要件と、クロスプラットフォームの相互運用性をほぼ不可能にする断片化課題に取り組む。
このフレームワークは、これらの課題を克服しながら柔軟性を提供するユニークなインタプリタベースのアプローチを採用している。
本稿では,TF Microの設計決定と実装の詳細について述べる。
また,その低リソース要件とランタイム性能のオーバーヘッドを最小限に抑える評価を行った。
関連論文リスト
- MicroFlow: An Efficient Rust-Based Inference Engine for TinyML [1.8902208722501446]
MicroFlowは、Rustプログラミング言語を使用した組み込みシステムにニューラルネットワーク(NN)をデプロイするためのオープンソースのフレームワークである。
NN参照モデルのデプロイにおいて、他の最先端ソリューションよりも、FlashやRAMメモリの使用が少ない。
また、中規模のNNでは既存のエンジンよりも高速な推論が可能であり、大きなNNでは同様の性能が得られる。
論文 参考訳（メタデータ） (2024-09-28T18:34:27Z) - Designing and Implementing a Generator Framework for a SIMD Abstraction Library [53.84310825081338]
SIMD抽象化ライブラリを生成するための新しいエンドツーエンドフレームワークであるTSLGenを提案する。
私たちのフレームワークは既存のライブラリに匹敵するもので、同じパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2024-07-26T13:25:38Z) - Distributed Inference and Fine-tuning of Large Language Models Over The
Internet [91.00270820533272]
大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。
これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。
本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
論文 参考訳（メタデータ） (2023-12-13T18:52:49Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳（メタデータ） (2023-10-04T20:27:20Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。
本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
論文 参考訳（メタデータ） (2023-06-08T13:11:20Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Virtualization of Tiny Embedded Systems with a robust real-time capable
and extensible Stack Virtual Machine REXAVM supporting Material-integrated
Intelligent Systems and Tiny Machine Learning [0.0]
本稿では,動作に等価なソフトウェアとハードウェア(FPGA)の実装において,提案するVMアーキテクチャの適合性を示し,評価する。
全体的なアーキテクチャアプローチでは、VMは特にデジタル信号処理と小さな機械学習に対処する。
論文 参考訳（メタデータ） (2023-02-17T17:13:35Z) - Experimenting with Emerging RISC-V Systems for Decentralised Machine
Learning [12.18598759507803]
分散機械学習(DML)は、集中的な入力データなしで協調的な機械学習を可能にする。
DMLスキームを基盤となる並列プログラミングライブラリにマップする。
我々は x86-64 と ARM プラットフォーム上で動作可能な DML スキームと RISC-V プラットフォームを作成して実験を行った。
副産物として、PyTorchフレームワークのRISC-V移植を紹介します。
論文 参考訳（メタデータ） (2023-02-15T20:57:42Z) - A review of TinyML [0.0]
TinyMLの組み込み機械学習の概念は、このような多様性を、通常のハイエンドアプローチからローエンドアプリケーションへと押し上げようとしている。
TinyMLは、機械学習、ソフトウェア、ハードウェアの統合において、急速に拡大する学際的なトピックである。
本稿では,TinyMLがいくつかの産業分野,その障害,その将来的な範囲にどのようなメリットをもたらすのかを考察する。
論文 参考訳（メタデータ） (2022-11-05T06:02:08Z) - TinyML for Ubiquitous Edge AI [0.0]
TinyMLは、極低電力域(mW範囲以下)で動作する組み込み(マイクロコントローラ駆動)デバイス上でのディープラーニングアルゴリズムの実現に重点を置いている。
TinyMLは、電力効率が高く、コンパクトなディープニューラルネットワークモデル、ソフトウェアフレームワークのサポート、組み込みハードウェアの設計における課題に対処する。
本報告では,この分野の拡大を導く主要な課題と技術的実現要因について論じる。
論文 参考訳（メタデータ） (2021-02-02T02:04:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。