論文の概要: Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO

• arxiv url: http://arxiv.org/abs/2311.01057v3
• Date: Thu, 09 Oct 2025 14:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.437018
• Title: Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO
• Title（参考訳）: チニシモヨロを用いたAI集積スマートグラスの高効率オンデバイス検出
• Authors: Julian Moosmann, Pietro Bonazzi, Yawei Li, Sizhen Bian, Philipp Mayer, Luca Benini, Michele Magno,
• Abstract要約: 本報告では、常時オンのオンデバイスオブジェクト検出のためのスマートグラスプラットフォームの設計を1日限りのバッテリー寿命で提案する。 提案するプラットフォームは、Greenwaves TechnologiesのマルチコアRISC-VプロセッサであるGAP9をベースにしている。 スマートグラスプロトタイプの評価では、TinyissimoYOLOの推論遅延は17msで、推論毎に1.59mJのエネルギーを消費している。
• 参考スコア（独自算出の注目度）: 22.50919713792346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Smart glasses are rapidly gaining advanced functions thanks to cutting-edge computing technologies, especially accelerated hardware architectures, and tiny Artificial Intelligence (AI) algorithms. However, integrating AI into smart glasses featuring a small form factor and limited battery capacity remains challenging for a satisfactory user experience. To this end, this paper proposes the design of a smart glasses platform for always-on on-device object detection with an all-day battery lifetime. The proposed platform is based on GAP9, a novel multi-core RISC-V processor from Greenwaves Technologies. Additionally, a family of sub-million parameter TinyissimoYOLO networks are proposed. They are benchmarked on established datasets, capable of differentiating up to 80 classes on MS-COCO. Evaluations on the smart glasses prototype demonstrate TinyissimoYOLO's inference latency of only 17ms and consuming 1.59mJ energy per inference. An end-to-end latency of 56ms is achieved which is equivalent to 18 frames per seconds (FPS) with a total power consumption of 62.9mW. This ensures continuous system runtime of up to 9.3 hours on a 154mAh battery. These results outperform MCUNet (TinyNAS+TinyEngine), which runs a simpler task (image classification) at just 7.3 FPS, while the 18 FPS achieved in this paper even include image-capturing, network inference, and detection post-processing. The algorithm's code is released open with this paper and can be found here: https://github.com/ETH-PBL/TinyissimoYOLO
• Abstract（参考訳）: スマートグラスは、最先端のコンピューティング技術、特に高速化されたハードウェアアーキテクチャ、そして小さな人工知能(AI)アルゴリズムのおかげで、急速に進歩している。 しかし、小さなフォームファクターと限られたバッテリ容量を備えたスマートグラスにAIを統合することは、満足のいくユーザーエクスペリエンスにとって依然として困難である。 そこで本研究では,常時オンのオンデバイスオブジェクト検出のためのスマートグラスプラットフォームの設計を,一日のバッテリー寿命で提案する。 提案するプラットフォームは、Greenwaves TechnologiesのマルチコアRISC-VプロセッサであるGAP9をベースにしている。 さらに,サブミリオンパラメータであるTinyissimoYOLOネットワークのファミリーを提案する。 それらは確立したデータセットでベンチマークされ、MS-COCO上で最大80のクラスを区別できる。 スマートグラスプロトタイプの評価では、TinyissimoYOLOの推論遅延は17msで、推論毎に1.59mJのエネルギーを消費している。 56msのエンドツーエンドのレイテンシは18フレーム/秒(FPS)で、総消費電力は62.9mWである。 これにより154mAhのバッテリーで最大9.3時間連続システムの実行が保証される。 これらの結果は、単純なタスク(画像分類)を7.3FPSで実行するMCUNet(TinyNAS+TinyEngine)よりも優れており、この論文で達成された18FPSには、画像キャプチャ、ネットワーク推論、検出後処理も含まれている。 アルゴリズムのコードは、この論文で公開されており、以下に示すように、 https://github.com/ETH-PBL/TinyissimoYOLO

関連論文リスト

• Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices [0.0]
  YOLOv8 (Nano, Small, Medium), EfficientDet Lite (Lite0, Lite1, Lite2), SSD (SSD MobileNet V1, SSDLite MobileDet) など,最先端のオブジェクト検出モデルの評価を行った。 これらのモデルをRaspberry Pi 3、4、5、TPUアクセラレーター、Jetson Orin Nanoといった一般的なエッジデバイスにデプロイし、エネルギー消費、推論時間、平均精度(mAP)といった重要なパフォーマンス指標を収集しました。 この結果から,SSD MobileNet V1などの低mAPモデルの方がエネルギー効率が高く,高速であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-25T10:56:49Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• Lightweight Object Detection: A Study Based on YOLOv7 Integrated with ShuffleNetv2 and Vision Transformer [0.0]
  本研究は、モバイルプラットフォーム上での運用効率と速度を向上させるために、YOLOv7アルゴリズムの最適化をゼロにする。 実験結果から, 改良されたYOLOモデルは優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-04T05:29:32Z)
• SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on FPGA Devices [48.47320494918925]
  この作業は、超低レイテンシアプリケーションのために、最先端のオブジェクト検出モデルをFPGAデバイスにデプロイする際の課題に対処する。 YOLOアクセラレータにはストリーミングアーキテクチャ設計を採用しており、チップ上で完全なモデルを深くパイプライン化して実装しています。 データフロー方式でYOLOモデルの動作をサポートする新しいハードウェアコンポーネントを導入し、オンチップメモリリソースの制限に対処するために、オフチップメモリバッファリングを導入する。
  論文  参考訳（メタデータ） (2023-09-04T13:15:01Z)
• Data-Model-Circuit Tri-Design for Ultra-Light Video Intelligence on Edge Devices [90.30316433184414]
  本稿では,HDビデオストリーム上での高スループット,低コスト,高精度MOTのためのデータモデル・ハードウエア・トリデザイン・フレームワークを提案する。 現状のMOTベースラインと比較して、我々の三設計アプローチは12.5倍の遅延低減、20.9倍のフレームレート改善、5.83倍の低消費電力、9.78倍のエネルギー効率を実現でき、精度は低下しない。
  論文  参考訳（メタデータ） (2022-10-16T16:21:40Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• PhiNets: a scalable backbone for low-power AI at the edge [2.7910505923792646]
  PhiNetsは、リソース制約のあるプラットフォーム上でのディープラーニングベースの画像処理に最適化された、スケーラブルなバックボーンである。 PhiNetは計算コスト、動作メモリ、パラメータメモリを分離するために特別に設計された逆残差ブロックに基づいている。 STM32H743マイクロコントローラをベースとしたプロトタイプノードへのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-10-01T12:03:25Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• A Real-time Low-cost Artificial Intelligence System for Autonomous Spraying in Palm Plantations [1.6799377888527687]
  精密作物保護では、画像処理における(ターゲット指向)物体検出は、無人航空機(UAV、作物保護ドローン)を適切な場所にナビゲートし、農薬を適用するのに役立ちます。 本稿では,Ag-YOLO(Ag-YOLO)と呼ばれる軽深度ニューラルネットワーク(DNN)に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-03-06T15:05:14Z)
• An Ultra Fast Low Power Convolutional Neural Network Image Sensor with Pixel-level Computing [3.41234610095684]
  本稿では,カラム読み出し回路前の畳み込み動作を可能にし,画像読み出し速度を大幅に向上できるpip( processing-in-pixel) cmosセンサアーキテクチャを提案する。 言い換えれば、計算効率は4.75 TOPS/wであり、最先端の約3.6倍である。
  論文  参考訳（メタデータ） (2021-01-09T07:10:03Z)
• Achieving Real-Time LiDAR 3D Object Detection on a Mobile Device [53.323878851563414]
  本稿では,強化学習技術を用いたネットワーク拡張とpruning検索を組み込んだコンパイラ対応統一フレームワークを提案する。 具体的には,リカレントニューラルネットワーク(RNN)を用いて,ネットワークの強化とプルーニングの両面での統一的なスキームを自動で提供する。 提案手法は,モバイルデバイス上でのリアルタイム3次元物体検出を実現する。
  論文  参考訳（メタデータ） (2020-12-26T19:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。