Fugu-MT 論文翻訳(概要): Helios: An extremely low power event-based gesture recognition for always-on smart eyewear

論文の概要: Helios: An extremely low power event-based gesture recognition for always-on smart eyewear

arxiv url: http://arxiv.org/abs/2407.05206v4
Date: Mon, 26 Aug 2024 09:15:11 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 22:57:33.284841
Title: Helios: An extremely low power event-based gesture recognition for always-on smart eyewear
Title（参考訳）: Helios:常時オンのスマートアイウェアのための極めて低消費電力なイベントベースのジェスチャー認識
Authors: Prarthana Bhattacharyya, Joshua Mitton, Ryan Page, Owen Morgan, Ben Menzies, Gabriel Homewood, Kemi Jacobs, Paolo Baesso, David Trickett, Chris Mair, Taru Muhonen, Rory Clark, Louis Berridge, Richard Vigars, Iain Wallace,
Abstract要約: 本報告では,スマートアイウェアの日中使用を目的とした,非常に低消費電力でリアルタイムなイベントベースの手ジェスチャー認識システムであるHeliosを紹介する。 Heliosは微妙なマイクロジェスチャーやピンチなど7種類のジェスチャーを91%の精度で認識できる。また、60ミリ秒という極めて低いレイテンシで、20ユーザにわたるリアルタイムパフォーマンスを実演しています。
参考スコア（独自算出の注目度）: 0.8117079893387517
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces Helios, the first extremely low-power, real-time, event-based hand gesture recognition system designed for all-day on smart eyewear. As augmented reality (AR) evolves, current smart glasses like the Meta Ray-Bans prioritize visual and wearable comfort at the expense of functionality. Existing human-machine interfaces (HMIs) in these devices, such as capacitive touch and voice controls, present limitations in ergonomics, privacy and power consumption. Helios addresses these challenges by leveraging natural hand interactions for a more intuitive and comfortable user experience. Our system utilizes a extremely low-power and compact 3mmx4mm/20mW event camera to perform natural hand-based gesture recognition for always-on smart eyewear. The camera's output is processed by a convolutional neural network (CNN) running on a NXP Nano UltraLite compute platform, consuming less than 350mW. Helios can recognize seven classes of gestures, including subtle microgestures like swipes and pinches, with 91% accuracy. We also demonstrate real-time performance across 20 users at a remarkably low latency of 60ms. Our user testing results align with the positive feedback we received during our recent successful demo at AWE-USA-2024.
Abstract（参考訳）: 本稿では,スマートアイウェアの日中使用用に設計された,非常に低消費電力でリアルタイムなイベントベースの手ジェスチャー認識システムであるHeliosを紹介する。拡張現実(AR)が進化するにつれて、Meta Ray-Bansのような現在のスマートグラスは、機能を犠牲にして視覚とウェアラブルの快適さを優先する。これらのデバイスに既存のヒューマンマシンインタフェース(HMI)(Capacitive Touch and Voice Control)は、エルゴノミクス、プライバシ、電力消費の制限を提示する。 Heliosは、より直感的で快適なユーザエクスペリエンスのために、自然なハンドインタラクションを活用することで、これらの課題に対処する。本システムは,超低消費電力でコンパクトな3mmx4mm/20mWイベントカメラを用いて,常時オン型スマートアイウェアの自然な手動ジェスチャー認識を行う。カメラの出力は、NXP Nano UltraLite計算プラットフォーム上で動作する畳み込みニューラルネットワーク(CNN)によって処理され、350mW未満を消費する。 Heliosは、スワイプやピンチなどの微妙なマイクロジェスチャーを含む7種類のジェスチャーを91%の精度で認識できる。また、60ミリ秒という極めて低いレイテンシで、20ユーザにわたるリアルタイムパフォーマンスを実演しています。ユーザテストの結果は、先日のAWE-USA-2024でのデモで得られた肯定的なフィードバックと一致しています。

関連論文リスト

EgoHand: Ego-centric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMUs [15.644891766887255]
ボトム対応のVRカメラは、個人の体の一部や周囲などの機密情報を暴露する危険性がある。手のジェスチャー認識のためのミリ波レーダとIMUを統合するシステムであるEgoHandを紹介する。実験では、EgoHandは90.8%の精度で手の動きを検出することができる。
論文参考訳（メタデータ） (2025-01-23T16:25:08Z)
Vinci: A Real-time Embodied Smart Assistant based on Egocentric Vision-Language Model [49.90916095152366]
我々は、エゴセントリックな視覚言語モデルに基づいて構築されたリアルタイムエンボディ型スマートアシスタントであるVinciを紹介する。ヴィンチは「常に」モードで動作し、環境を継続的に観察してシームレスな相互作用と補助を提供する。我々は、アップロードされたビデオをテストするためのデモWebプラットフォームとともに、デバイス開発のための完全な実装をリリースする。
論文参考訳（メタデータ） (2024-12-30T16:57:05Z)
Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文参考訳（メタデータ） (2024-11-04T18:38:50Z)
Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras [34.520964056321105]
本稿では,ピアツーピア通信シナリオを対象とした低予算・高精度双方向テレプレゼンスシステムTele-Alohaを提案する。 Tele-Alohaは、高解像度(2048x2048)、リアルタイム(30fps)、低レイテンシ(150ms未満)、堅牢な遠隔通信を実現するために、わずか4つのスパースRGBカメラ、1つのコンシューマグレードGPU、1つのオートステレオスコープスクリーンを使用する。
論文参考訳（メタデータ） (2024-05-23T17:59:45Z)
Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO [20.11222151005929]
本稿では,新しい低消費電力プロセッサを活用した小型機械学習アルゴリズムの設計と実装について述べる。リアルタイム物体検出におけるスマートグラスのエネルギー効率と遅延効率について検討する。スマートグラスのプロトタイプの評価では、TinyissimoYOLOの17msの推論遅延と1回の推論あたりのエネルギー消費量が1.59mJであることが示されている。
論文参考訳（メタデータ） (2023-11-02T08:01:49Z)
SqueezerFaceNet: Reducing a Small Face Recognition CNN Even More Via Filter Pruning [55.84746218227712]
我々は,100万パラメータ未満の軽量顔認識ネットワークであるSqueezerFaceNetを開発した。性能を損なうことなく、さらに(最大40%)削減できることを示す。
論文参考訳（メタデータ） (2023-07-20T08:38:50Z)
Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文参考訳（メタデータ） (2023-05-12T17:24:02Z)
GesSure -- A Robust Face-Authentication enabled Dynamic Gesture Recognition GUI Application [1.3649494534428745]
本稿では,頑健で顔認証が可能なジェスチャー認識システムを設計することを目的とする。タスク操作に意味があり、関連するジェスチャーを使用します。私たちのプロトタイプは、保存、印刷、ビデオプレイヤの操作と終了の制御、スリープ、シャットダウン、直感的にアンロックといった文脈に依存しないオペレーティングシステムタスクをうまく実行しました。
論文参考訳（メタデータ） (2022-07-22T12:14:35Z)
TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
論文参考訳（メタデータ） (2021-08-16T19:53:56Z)
Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文参考訳（メタデータ） (2020-11-06T23:17:12Z)
Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
論文参考訳（メタデータ） (2020-04-07T17:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。