Fugu-MT 論文翻訳(概要): Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO

論文の概要: Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO

arxiv url: http://arxiv.org/abs/2311.01057v2
Date: Fri, 3 Nov 2023 15:25:55 GMT
ステータス: 処理完了
システム内更新日: 2023-11-06 11:32:30.008733
Title: Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO
Title（参考訳）: チニシモヨロを用いたAI集積スマートグラスの高効率オンデバイス検出
Authors: Julian Moosmann, Pietro Bonazzi, Yawei Li, Sizhen Bian, Philipp Mayer, Luca Benini, Michele Magno
Abstract要約: 本稿では,新しい低消費電力プロセッサを活用した小型機械学習アルゴリズムの設計と実装について述べる。リアルタイム物体検出におけるスマートグラスのエネルギー効率と遅延効率について検討する。スマートグラスのプロトタイプの評価では、TinyissimoYOLOの17msの推論遅延と1回の推論あたりのエネルギー消費量が1.59mJであることが示されている。
参考スコア（独自算出の注目度）: 20.11222151005929
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Smart glasses are rapidly gaining advanced functionality thanks to cutting-edge computing technologies, accelerated hardware architectures, and tiny AI algorithms. Integrating AI into smart glasses featuring a small form factor and limited battery capacity is still challenging when targeting full-day usage for a satisfactory user experience. This paper illustrates the design and implementation of tiny machine-learning algorithms exploiting novel low-power processors to enable prolonged continuous operation in smart glasses. We explore the energy- and latency-efficient of smart glasses in the case of real-time object detection. To this goal, we designed a smart glasses prototype as a research platform featuring two microcontrollers, including a novel milliwatt-power RISC-V parallel processor with a hardware accelerator for visual AI, and a Bluetooth low-power module for communication. The smart glasses integrate power cycling mechanisms, including image and audio sensing interfaces. Furthermore, we developed a family of novel tiny deep-learning models based on YOLO with sub-million parameters customized for microcontroller-based inference dubbed TinyissimoYOLO v1.3, v5, and v8, aiming at benchmarking object detection with smart glasses for energy and latency. Evaluations on the prototype of the smart glasses demonstrate TinyissimoYOLO's 17ms inference latency and 1.59mJ energy consumption per inference while ensuring acceptable detection accuracy. Further evaluation reveals an end-to-end latency from image capturing to the algorithm's prediction of 56ms or equivalently 18 fps, with a total power consumption of 62.9mW, equivalent to a 9.3 hours of continuous run time on a 154mAh battery. These results outperform MCUNet (TinyNAS+TinyEngine), which runs a simpler task (image classification) at just 7.3 fps per second.
Abstract（参考訳）: スマートグラスは、最先端のコンピューティング技術、ハードウェアアーキテクチャの高速化、そして小さなAIアルゴリズムのおかげで、急速に進歩している。 AIを小さなフォームファクターと限られたバッテリ容量を備えたスマートグラスに統合することは、満足のいくユーザーエクスペリエンスのために毎日の使用を目標とする場合、依然として難しい。本稿では,新しい低消費電力プロセッサを活用し,スマートグラスの長時間連続動作を実現する,小型機械学習アルゴリズムの設計と実装について述べる。リアルタイム物体検出におけるスマートグラスのエネルギー効率と遅延効率について検討する。この目的のために、スマートグラスのプロトタイプを、新しいミリワットパワーRISC-V並列プロセッサと、ビジュアルAIのためのハードウェアアクセラレータ、通信用のBluetooth低電力モジュールを含む2つのマイクロコントローラを備えた研究プラットフォームとして設計した。スマートグラスは、画像およびオーディオセンシングインターフェイスを含むパワーサイクリング機構を統合している。さらに,マイクロコントローラに基づく推論用にカスタマイズされたサブミリオンパラメータを持つyoloに基づく,新たな小さなディープラーニングモデルであるtinyissimoyolo v1.3,v5,v8を開発し,エネルギーとレイテンシのためのスマートグラスによる物体検出のベンチマークを目標とした。スマートグラスのプロトタイプの評価では、TinyissimoYOLOの17msの推論遅延と1回の推論あたりのエネルギー消費量が1.59mJであり、検出精度は許容できる。さらに評価すると、イメージキャプチャからアルゴリズムの56msまたは18fpsの予測までのエンドツーエンドのレイテンシが、総消費電力は62.9mwで、154mahのバッテリーで9.3時間の連続実行時間に相当する。これらの結果は、より単純なタスク(画像分類)を実行するMCUNet(TinyNAS+TinyEngine)を毎秒7.3fpsで上回る。

関連論文リスト

Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices [0.0]
YOLOv8 (Nano, Small, Medium), EfficientDet Lite (Lite0, Lite1, Lite2), SSD (SSD MobileNet V1, SSDLite MobileDet) など,最先端のオブジェクト検出モデルの評価を行った。これらのモデルをRaspberry Pi 3、4、5、TPUアクセラレーター、Jetson Orin Nanoといった一般的なエッジデバイスにデプロイし、エネルギー消費、推論時間、平均精度(mAP)といった重要なパフォーマンス指標を収集しました。この結果から,SSD MobileNet V1などの低mAPモデルの方がエネルギー効率が高く,高速であることが示唆された。
論文参考訳（メタデータ） (2024-09-25T10:56:49Z)
PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
複数の物体追跡は、自律運転において重要な課題である。トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
論文参考訳（メタデータ） (2024-03-23T04:18:49Z)
Lightweight Object Detection: A Study Based on YOLOv7 Integrated with ShuffleNetv2 and Vision Transformer [0.0]
本研究は、モバイルプラットフォーム上での運用効率と速度を向上させるために、YOLOv7アルゴリズムの最適化をゼロにする。実験結果から, 改良されたYOLOモデルは優れた性能を示した。
論文参考訳（メタデータ） (2024-03-04T05:29:32Z)
SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on FPGA Devices [48.47320494918925]
この作業は、超低レイテンシアプリケーションのために、最先端のオブジェクト検出モデルをFPGAデバイスにデプロイする際の課題に対処する。 YOLOアクセラレータにはストリーミングアーキテクチャ設計を採用しており、チップ上で完全なモデルを深くパイプライン化して実装しています。データフロー方式でYOLOモデルの動作をサポートする新しいハードウェアコンポーネントを導入し、オンチップメモリリソースの制限に対処するために、オフチップメモリバッファリングを導入する。
論文参考訳（メタデータ） (2023-09-04T13:15:01Z)
Data-Model-Circuit Tri-Design for Ultra-Light Video Intelligence on Edge Devices [90.30316433184414]
本稿では,HDビデオストリーム上での高スループット,低コスト,高精度MOTのためのデータモデル・ハードウエア・トリデザイン・フレームワークを提案する。現状のMOTベースラインと比較して、我々の三設計アプローチは12.5倍の遅延低減、20.9倍のフレームレート改善、5.83倍の低消費電力、9.78倍のエネルギー効率を実現でき、精度は低下しない。
論文参考訳（メタデータ） (2022-10-16T16:21:40Z)
FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文参考訳（メタデータ） (2022-01-18T13:59:22Z)
PhiNets: a scalable backbone for low-power AI at the edge [2.7910505923792646]
PhiNetsは、リソース制約のあるプラットフォーム上でのディープラーニングベースの画像処理に最適化された、スケーラブルなバックボーンである。 PhiNetは計算コスト、動作メモリ、パラメータメモリを分離するために特別に設計された逆残差ブロックに基づいている。 STM32H743マイクロコントローラをベースとしたプロトタイプノードへのアプローチを実証する。
論文参考訳（メタデータ） (2021-10-01T12:03:25Z)
FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文参考訳（メタデータ） (2021-03-08T03:09:37Z)
A Real-time Low-cost Artificial Intelligence System for Autonomous Spraying in Palm Plantations [1.6799377888527687]
精密作物保護では、画像処理における(ターゲット指向)物体検出は、無人航空機(UAV、作物保護ドローン)を適切な場所にナビゲートし、農薬を適用するのに役立ちます。本稿では,Ag-YOLO(Ag-YOLO)と呼ばれる軽深度ニューラルネットワーク(DNN)に基づく手法を提案する。
論文参考訳（メタデータ） (2021-03-06T15:05:14Z)
An Ultra Fast Low Power Convolutional Neural Network Image Sensor with Pixel-level Computing [3.41234610095684]
本稿では,カラム読み出し回路前の畳み込み動作を可能にし,画像読み出し速度を大幅に向上できるpip( processing-in-pixel) cmosセンサアーキテクチャを提案する。言い換えれば、計算効率は4.75 TOPS/wであり、最先端の約3.6倍である。
論文参考訳（メタデータ） (2021-01-09T07:10:03Z)
Achieving Real-Time LiDAR 3D Object Detection on a Mobile Device [53.323878851563414]
本稿では,強化学習技術を用いたネットワーク拡張とpruning検索を組み込んだコンパイラ対応統一フレームワークを提案する。具体的には,リカレントニューラルネットワーク(RNN)を用いて,ネットワークの強化とプルーニングの両面での統一的なスキームを自動で提供する。提案手法は,モバイルデバイス上でのリアルタイム3次元物体検出を実現する。
論文参考訳（メタデータ） (2020-12-26T19:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。