Fugu-MT 論文翻訳(概要): TinyTracker: Ultra-Fast and Ultra-Low-Power Edge Vision for In-Sensor Gaze Estimation

論文の概要: TinyTracker: Ultra-Fast and Ultra-Low-Power Edge Vision for In-Sensor Gaze Estimation

arxiv url: http://arxiv.org/abs/2307.07813v1
Date: Sat, 15 Jul 2023 14:34:25 GMT
ステータス: 処理完了
システム内更新日: 2023-07-18 17:38:51.911431
Title: TinyTracker: Ultra-Fast and Ultra-Low-Power Edge Vision for In-Sensor Gaze Estimation
Title（参考訳）: TinyTracker: センサー内注視推定のための超高速かつ低消費電力エッジビジョン
Authors: Pietro Bonazzi, Thomas Ruegg, Sizhen Bian, Yawei Li, Michele Magno
Abstract要約: この研究は、ソニーによるIMX500と呼ばれる最初の「センサーのAI」ビジョンプラットフォームを活用し、超高速で超低消費電力のエッジビジョンアプリケーションを実現する。本研究では,エッジビジョンシステムの性能を最大化する2次元視線推定モデルTinyTrackerを提案する。
参考スコア（独自算出の注目度）: 9.26551191441935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Intelligent edge vision tasks face the challenge of power and latency efficiency as the computation load is normally heavy for edge platforms. This work leverages one of the first "AI in sensor" vision platforms, IMX500 by Sony, to achieve ultra-fast and ultra-low-power end-to-end edge vision applications. We evaluate the IMX500 and compare it to other edge platforms, such as the Google Coral Dev Micro and Sony Spresense, by exploring gaze estimation as a case study. We propose TinyTracker, a highly efficient, fully quantized model for 2D gaze estimation designed to maximize the performance of the edge vision systems considered in this study. TinyTracker achieves a 41x size reduction (600Kb) compared to iTracker [1] without significant loss in gaze estimation accuracy (maximum of 0.16 cm when fully quantized). TinyTracker's deployment on the Sony IMX500 vision sensor results in end-to-end latency of around 19ms. The camera takes around 17.9ms to read, process and transmit the pixels to the accelerator. The inference time of the network is 0.86ms with an additional 0.24 ms for retrieving the results from the sensor. and the overall energy consumption of the end-to-end system is 4.9 mJ, including 0.06 mJ for inference. The end-to-end study shows that IMX500 is 1.7x faster than CoralMicro (19ms vs 34.4ms) and 7x more power efficient (4.9mJ VS 34.2mJ)
Abstract（参考訳）: インテリジェントエッジビジョンタスクは、通常はエッジプラットフォームで計算負荷が重いため、電力とレイテンシ効率の課題に直面します。この研究は、ソニーによるIMX500と呼ばれる最初の「センサーのAI」ビジョンプラットフォームを活用し、超高速で超低消費電力のエッジビジョンアプリケーションを実現する。 imx500を評価し、google coral dev microやsony spresenseといった他のエッジプラットフォームと比較し、視線の推定をケーススタディとして検討した。本研究では,エッジビジョンシステムの性能を最大化するために設計された2次元視線推定のための高効率,完全量子化モデルであるtinytrackerを提案する。 tinytracker は itracker [1] と比較して41倍のサイズ削減 (600kb) を達成し、視線推定精度(全量子化時最大 0.16 cm)を損なうことはない。 TinyTrackerのSony IMX500ビジョンセンサーへの展開により、エンドツーエンドのレイテンシは約19ミリ秒になる。カメラは17.9ミリ秒で読み出し、処理し、加速器に送信する。ネットワークの推論時間は 0.86ms で、センサから結果を取得するのに 0.24 ms を追加する。エンド・ツー・エンドのシステム全体のエネルギー消費量は4.9 mJであり、推論は0.06 mJである。エンドツーエンドの調査では、IMX500はCoralMicro(19ms vs 34.4ms)より1.7倍高速で、電力効率は7倍(4.9mJ VS 34.2mJ)である。

関連論文リスト

HopTrack: A Real-time Multi-Object Tracking System for Embedded Devices [11.615446679072932]
本稿では,組み込みデバイスに適したリアルタイムマルチオブジェクトトラッキングシステムHopTrackを紹介する。最高のハイエンドGPU修正ベースラインByte(Embed)と比較して、HopTrackはNVIDIA AGX Xavierで最大39.29の処理速度を実現している。
論文参考訳（メタデータ） (2024-11-01T14:13:53Z)
Q-Segment: Segmenting Images In-Sensor for Vessel-Based Medical Diagnosis [13.018482089796159]
我々は、量子化されたリアルタイムセグメンテーションアルゴリズム「Q-Segment」を提案し、Sony IMX500を用いて、低消費電力エッジビジョンプラットフォーム上で包括的な評価を行う。 Q-セグメントは、センサー内での超低推論時間(0.23ms)と72mWの消費電力を実現している。この研究は、エッジベースのイメージセグメンテーションに関する貴重な洞察をもたらし、低消費電力環境に適した効率的なアルゴリズムの基礎を築いた。
論文参考訳（メタデータ） (2023-12-15T15:01:41Z)
ZoomTrack: Target-aware Non-uniform Resizing for Efficient Visual Tracking [40.13014036490452]
トランスにより、高速で最先端(SOTA)の性能にアプローチできる速度指向トラッカーが実現された。入力サイズを小さくして高い追従速度を達成しつつ、このギャップを狭めたり閉じたりすることさえ可能であることを実証する。
論文参考訳（メタデータ） (2023-10-16T05:06:13Z)
LiteTrack: Layer Pruning with Asynchronous Feature Extraction for Lightweight and Efficient Visual Tracking [4.179339279095506]
LiteTrackは、様々なデバイスにわたる高速操作に最適化された効率的なトランスフォーマーベースのトラッキングモデルである。他の軽量トラッカーよりも精度と効率のトレードオフが良好である。 LiteTrack-B9はGOT-10kで72.2%AO、TrackingNetで82.4%AUC、NVIDIA 2080Ti GPUで171fpsで動作する。
論文参考訳（メタデータ） (2023-09-17T12:01:03Z)
InceptionNeXt: When Inception Meets ConvNeXt [167.61042926444105]
IncepitonNeXtと呼ばれる一連のネットワークを構築し、高いスループットを享受するだけでなく、競争性能も維持しています。 InceptionNeXtはConvNeX-Tよりも1.6倍高いトレーニングスループットを実現し、ImageNet-1Kでは0.2%の精度向上を実現している。
論文参考訳（メタデータ） (2023-03-29T17:59:58Z)
Ultra-low Power Deep Learning-based Monocular Relative Localization Onboard Nano-quadrotors [64.68349896377629]
この研究は、2つのピアナノドロンのディープニューラルネットワーク(DNN)を介して、単分子の相対的な局所化に対処する、新しい自律的なエンドツーエンドシステムを示す。超制約ナノドローンプラットフォームに対処するため,データセットの増大,量子化,システム最適化などを含む垂直統合フレームワークを提案する。実験の結果,DNNは低分解能モノクローム画像のみを用いて最大2mの距離で10cmのターゲットナノドローンを正確に局在させることができることがわかった。
論文参考訳（メタデータ） (2023-03-03T14:14:08Z)
Efficient Visual Tracking via Hierarchical Cross-Attention Transformer [82.92565582642847]
本稿では,HCAT と呼ばれる階層型クロスアテンショントランスを用いた効率的な追跡手法を提案する。当社のモデルは、GPUで約195fps、CPUで45fps、NVidia Jetson AGX XavierのエッジAIプラットフォームで55fpsで動作します。
論文参考訳（メタデータ） (2022-03-25T09:45:27Z)
SwinTrack: A Simple and Strong Baseline for Transformer Tracking [81.65306568735335]
完全注意型トランスフォーマートラッキングアルゴリズムSwin-Transformer Tracker(SwinTrack)を提案する。 SwinTrackは、機能抽出と機能融合の両方にTransformerを使用し、ターゲットオブジェクトと検索領域の間の完全なインタラクションを可能にする。我々の徹底的な実験で、SwinTrackはLaSOT上で0.717 SUCで新しい記録を樹立し、45FPSで走りながらSTARKを4.6%上回った。
論文参考訳（メタデータ） (2021-12-02T05:56:03Z)
LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search [104.84999119090887]
ニューラルアーキテクチャサーチ(NAS)を用いて、より軽量で効率的なオブジェクトトラッカーを設計するLightTrackを提案する。総合的な実験は、LightTrackが効果的であることを示している。 SiamRPN++やOceanといった手作りのSOTAトラッカーよりも優れたパフォーマンスを実現するトラッカーを見つけることができる。
論文参考訳（メタデータ） (2021-04-29T17:55:24Z)
Tracking Objects as Points [83.9217787335878]
同時に検出と追跡を同時に行うアルゴリズムは,最先端技術よりもシンプルで,高速で,高精度である。トラッカーであるCenterTrackは、前のフレームから一対のイメージと検出に検出モデルを適用します。 CenterTrackはシンプルで、オンライン(未来を覗くことはない)で、リアルタイムだ。
論文参考訳（メタデータ） (2020-04-02T17:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。