論文の概要: Helios: An extremely low power event-based gesture recognition for always-on smart eyewear
- arxiv url: http://arxiv.org/abs/2407.05206v3
- Date: Mon, 12 Aug 2024 10:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 20:43:18.584149
- Title: Helios: An extremely low power event-based gesture recognition for always-on smart eyewear
- Title（参考訳）: Helios:常時オンのスマートアイウェアのための極めて低消費電力なイベントベースのジェスチャー認識
- Authors: Prarthana Bhattacharyya, Joshua Mitton, Ryan Page, Owen Morgan, Ben Menzies, Gabriel Homewood, Kemi Jacobs, Paolo Baesso, Dave Trickett, Chris Mair, Taru Muhonen, Rory Clark, Louis Berridge, Richard Vigars, Iain Wallace,
- Abstract要約: 本報告では,スマートアイウェアの日中使用を目的とした,非常に低消費電力でリアルタイムなイベントベースの手ジェスチャー認識システムであるHeliosを紹介する。
Heliosは微妙なマイクロジェスチャーやピンチなど7種類のジェスチャーを91%の精度で認識できる。
また、60ミリ秒という極めて低いレイテンシで、20ユーザにわたるリアルタイムパフォーマンスを実演しています。
- 参考スコア（独自算出の注目度）: 0.8117079893387517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces Helios, the first extremely low-power, real-time, event-based hand gesture recognition system designed for all-day on smart eyewear. As augmented reality (AR) evolves, current smart glasses like the Meta Ray-Bans prioritize visual and wearable comfort at the expense of functionality. Existing human-machine interfaces (HMIs) in these devices, such as capacitive touch and voice controls, present limitations in ergonomics, privacy and power consumption. Helios addresses these challenges by leveraging natural hand interactions for a more intuitive and comfortable user experience. Our system utilizes a extremely low-power and compact 3mmx4mm/20mW event camera to perform natural hand-based gesture recognition for always-on smart eyewear. The camera's output is processed by a convolutional neural network (CNN) running on a NXP Nano UltraLite compute platform, consuming less than 350mW. Helios can recognize seven classes of gestures, including subtle microgestures like swipes and pinches, with 91% accuracy. We also demonstrate real-time performance across 20 users at a remarkably low latency of 60ms. Our user testing results align with the positive feedback we received during our recent successful demo at AWE-USA-2024.
- Abstract（参考訳）: 本稿では,スマートアイウェアの日中使用用に設計された,非常に低消費電力でリアルタイムなイベントベースの手ジェスチャー認識システムであるHeliosを紹介する。
拡張現実(AR)が進化するにつれて、Meta Ray-Bansのような現在のスマートグラスは、機能を犠牲にして視覚とウェアラブルの快適さを優先する。
これらのデバイスに既存のヒューマンマシンインタフェース(HMI)(Capacitive Touch and Voice Control)は、エルゴノミクス、プライバシ、電力消費の制限を提示する。
Heliosは、より直感的で快適なユーザエクスペリエンスのために、自然なハンドインタラクションを活用することで、これらの課題に対処する。
本システムは,超低消費電力でコンパクトな3mmx4mm/20mWイベントカメラを用いて,常時オン型スマートアイウェアの自然な手動ジェスチャー認識を行う。
カメラの出力は、NXP Nano UltraLite計算プラットフォーム上で動作する畳み込みニューラルネットワーク(CNN)によって処理され、350mW未満を消費する。
Heliosは、スワイプやピンチなどの微妙なマイクロジェスチャーを含む7種類のジェスチャーを91%の精度で認識できる。
また、60ミリ秒という極めて低いレイテンシで、20ユーザにわたるリアルタイムパフォーマンスを実演しています。
ユーザテストの結果は、先日のAWE-USA-2024でのデモで得られた肯定的なフィードバックと一致しています。
関連論文リスト
- Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。
ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。
これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文 参考訳（メタデータ） (2024-11-04T18:38:50Z) - Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras [34.520964056321105]
本稿では,ピアツーピア通信シナリオを対象とした低予算・高精度双方向テレプレゼンスシステムTele-Alohaを提案する。
Tele-Alohaは、高解像度(2048x2048)、リアルタイム(30fps)、低レイテンシ(150ms未満)、堅牢な遠隔通信を実現するために、わずか4つのスパースRGBカメラ、1つのコンシューマグレードGPU、1つのオートステレオスコープスクリーンを使用する。
論文 参考訳（メタデータ） (2024-05-23T17:59:45Z) - Ultra-Efficient On-Device Object Detection on AI-Integrated Smart
Glasses with TinyissimoYOLO [20.11222151005929]
本稿では,新しい低消費電力プロセッサを活用した小型機械学習アルゴリズムの設計と実装について述べる。
リアルタイム物体検出におけるスマートグラスのエネルギー効率と遅延効率について検討する。
スマートグラスのプロトタイプの評価では、TinyissimoYOLOの17msの推論遅延と1回の推論あたりのエネルギー消費量が1.59mJであることが示されている。
論文 参考訳（メタデータ） (2023-11-02T08:01:49Z) - SqueezerFaceNet: Reducing a Small Face Recognition CNN Even More Via
Filter Pruning [55.84746218227712]
我々は,100万パラメータ未満の軽量顔認識ネットワークであるSqueezerFaceNetを開発した。
性能を損なうことなく、さらに(最大40%)削減できることを示す。
論文 参考訳（メタデータ） (2023-07-20T08:38:50Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳（メタデータ） (2023-05-12T17:24:02Z) - SimplyMime: A Control at Our Fingertips [0.17499351967216337]
本稿では,消費者電子製品の複数リモコンの必要性を解消することを目的とした,SimplyMimeという新しいシステムを提案する。
SimplyMimeは動的手ジェスチャー認識アーキテクチャを活用し、人工知能とヒューマン・コンピュータ・インタラクションを取り入れている。
動きの流れ中のジェスチャーを検知・認識する手法の性能を徹底的に検証し,検証した。
論文 参考訳（メタデータ） (2023-04-22T11:25:19Z) - GesSure -- A Robust Face-Authentication enabled Dynamic Gesture
Recognition GUI Application [1.3649494534428745]
本稿では,頑健で顔認証が可能なジェスチャー認識システムを設計することを目的とする。
タスク操作に意味があり、関連するジェスチャーを使用します。
私たちのプロトタイプは、保存、印刷、ビデオプレイヤの操作と終了の制御、スリープ、シャットダウン、直感的にアンロックといった文脈に依存しないオペレーティングシステムタスクをうまく実行しました。
論文 参考訳（メタデータ） (2022-07-22T12:14:35Z) - TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。
これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。
イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
論文 参考訳（メタデータ） (2021-08-16T19:53:56Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。
我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。
我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
論文 参考訳（メタデータ） (2020-04-07T17:57:18Z) - Towards Palmprint Verification On Smartphones [62.279124220123286]
過去20年間の研究によると、ヤシの印刷物は独特性と永続性に優れた効果がある。
我々はスマートフォン用のDeepMPV+というDCNNベースのパームプリント検証システムを構築した。
DeepMPV+の効率と有効性は広範な実験によって裏付けられている。
論文 参考訳（メタデータ） (2020-03-30T08:31:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。