論文の概要: Helios 2.0: A Robust, Ultra-Low Power Gesture Recognition System Optimised for Event-Sensor based Wearables

• arxiv url: http://arxiv.org/abs/2503.07825v1
• Date: Mon, 10 Mar 2025 20:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:40.344734
• Title: Helios 2.0: A Robust, Ultra-Low Power Gesture Recognition System Optimised for Event-Sensor based Wearables
• Title（参考訳）: Helios 2.0:イベントセンサベースのウェアラブルに最適化されたロバストで低消費電力のパワージェスチャ認識システム
• Authors: Prarthana Bhattacharyya, Joshua Mitton, Ryan Page, Owen Morgan, Oliver Powell, Benjamin Menzies, Gabriel Homewood, Kemi Jacobs, Paolo Baesso, Taru Muhonen, Richard Vigars, Louis Berridge,
• Abstract要約: 我々は,スマートグラスの自然な手の動き制御を可能にする,モバイル最適化,リアルタイム,超低消費電力イベントカメラシステムを提案する。 我々のアプローチは、慎重に選択されたマイクロゲインを通して課題に取り組む。 これらの人間中心のインタラクションは、ユーザが複雑なコマンドシーケンスを学習することなく、自然な手の動きを活用して、直感的なユーザビリティを確保する。
• 参考スコア（独自算出の注目度）: 0.8677035729963776
• License:
• Abstract: We present an advance in wearable technology: a mobile-optimized, real-time, ultra-low-power event camera system that enables natural hand gesture control for smart glasses, dramatically improving user experience. While hand gesture recognition in computer vision has advanced significantly, critical challenges remain in creating systems that are intuitive, adaptable across diverse users and environments, and energy-efficient enough for practical wearable applications. Our approach tackles these challenges through carefully selected microgestures: lateral thumb swipes across the index finger (in both directions) and a double pinch between thumb and index fingertips. These human-centered interactions leverage natural hand movements, ensuring intuitive usability without requiring users to learn complex command sequences. To overcome variability in users and environments, we developed a novel simulation methodology that enables comprehensive domain sampling without extensive real-world data collection. Our power-optimised architecture maintains exceptional performance, achieving F1 scores above 80\% on benchmark datasets featuring diverse users and environments. The resulting models operate at just 6-8 mW when exploiting the Qualcomm Snapdragon Hexagon DSP, with our 2-channel implementation exceeding 70\% F1 accuracy and our 6-channel model surpassing 80\% F1 accuracy across all gesture classes in user studies. These results were achieved using only synthetic training data. This improves on the state-of-the-art for F1 accuracy by 20\% with a power reduction 25x when using DSP. This advancement brings deploying ultra-low-power vision systems in wearable devices closer and opens new possibilities for seamless human-computer interaction.
• Abstract（参考訳）: 我々は、スマートグラスの自然な手の動き制御を可能にし、ユーザー体験を劇的に改善する、モバイル最適化、リアルタイム、超低消費電力のイベントカメラシステムであるウェアラブル技術の進歩を示す。 コンピュータビジョンにおける手動ジェスチャー認識は著しく進歩しているが、様々なユーザや環境にまたがって直感的で適応し、実用的なウェアラブルアプリケーションに十分なエネルギー効率のシステムを構築する上で、重要な課題が残っている。 提案手法は,指先(両方向)を横にスワイプし,指先(指先)と指先(指先)の両指先(指先)をダブルピンチすることで,これらの課題に対処する。 これらの人間中心のインタラクションは、ユーザが複雑なコマンドシーケンスを学習することなく、自然な手の動きを活用して、直感的なユーザビリティを確保する。 ユーザや環境の多様性を克服するため,広範に実世界のデータ収集を行うことなく,包括的なドメインサンプリングを可能にする新しいシミュレーション手法を開発した。 当社のパワー最適化アーキテクチャは例外的なパフォーマンスを維持しており、さまざまなユーザや環境を備えたベンチマークデータセットでF1スコアを80%以上達成しています。 その結果、Qualcomm Snapdragon Hexagon DSPを利用する場合、わずか6～8mWで動作し、2チャネル実装は70倍のF1精度で、6チャネルモデルは全ジェスチャークラスで80倍のF1精度で動作した。 これらの結果は、合成トレーニングデータのみを用いて達成された。 これにより、DSPを使用する場合の電力削減率25xでF1の精度が20\%向上する。 この進歩は、ウェアラブルデバイスに超低消費電力のビジョンシステムを展開することを可能にし、シームレスな人間とコンピュータのインタラクションの新しい可能性を開く。

関連論文リスト

• Towards Open-World Mobile Manipulation in Homes: Lessons from the Neurips 2023 HomeRobot Open Vocabulary Mobile Manipulation Challenge [93.4434417387526]
  ロボット工学における鍵となるベンチマークタスクとして,Open Vocabulary Mobile Manipulationを提案する。 我々は,この課題に対する解決策を評価するために,シミュレーションと実世界のコンポーネントを兼ね備えたNeurIPS 2023コンペティションを組織した。 シミュレーションと実環境設定の両方で使用される結果と方法論を詳述する。
  論文  参考訳（メタデータ） (2024-07-09T15:15:01Z)
• Wearable Sensor-Based Few-Shot Continual Learning on Hand Gestures for Motor-Impaired Individuals via Latent Embedding Exploitation [6.782362178252351]
  本稿では,リプレイベースのFew-Shot連続学習フレームワークにおいて,Latent Embedding Exploitation (LEE) 機構を導入する。 本手法は,ジェスチャー先行知識として知られる保存された潜伏埋め込みを利用して,多様な潜伏特徴空間を生成する。 本手法は、運動障害者がウェアラブルデバイスを活用するのに役立ち、そのユニークな動作スタイルを学習し応用することができる。
  論文  参考訳（メタデータ） (2024-05-14T21:20:27Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• It's all about you: Personalized in-Vehicle Gesture Recognition with a Time-of-Flight Camera [0.0]
  CNNLSTMモデルのトレーニングをパーソナライズするためのモデル適応手法を提案する。 本手法は運転時の動的手動作認識の分野に寄与する。
  論文  参考訳（メタデータ） (2023-10-02T21:48:19Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• Enabling hand gesture customization on wrist-worn devices [28.583516259577486]
  既存のジェスチャーセットの性能を劣化させることなく、ユーザから最小限のサンプルを必要とするジェスチャーカスタマイズのためのフレームワークを提案する。 われわれのアプローチは、ユーザーが既存のジェスチャーに縛られない未来への道を切り拓き、自分の好みや能力に合わせた新しいジェスチャーを創造的に導入することを可能にする。
  論文  参考訳（メタデータ） (2022-03-29T05:12:32Z)
• Towards Domain-Independent and Real-Time Gesture Recognition Using mmWave Signal [11.76969975145963]
  DI-Gesture はドメインに依存しないリアルタイムの mmWave ジェスチャー認識システムである。 リアルタイムシナリオでは、DI-Gesutreの精度は平均推定時間2.87msで97%以上に達する。
  論文  参考訳（メタデータ） (2021-11-11T13:28:28Z)
• Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning [76.46530937296066]
  本稿では,無線モバイルユーザに対して,超信頼性でエネルギー効率のよいバーチャルリアリティ(VR)体験を提供するという課題について検討する。 モバイルユーザへの信頼性の高い超高精細ビデオフレーム配信を実現するために,コーディネートマルチポイント(CoMP)伝送技術とミリ波(mmWave)通信を利用する。
  論文  参考訳（メタデータ） (2021-06-03T08:35:10Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• ASFD: Automatic and Scalable Face Detector [129.82350993748258]
  ASFD(Automatic and Scalable Face Detector)を提案する。 ASFDはニューラルアーキテクチャ検索技術の組み合わせと新たな損失設計に基づいている。 ASFD-D0は120FPS以上で動作し、MobilenetはVGA解像度の画像を撮影しています。
  論文  参考訳（メタデータ） (2020-03-25T06:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。