論文の概要: Efficient Sensor Fusion for Gesture Recognition on Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2605.13462v1
• Date: Wed, 13 May 2026 12:53:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.049745
• Title: Efficient Sensor Fusion for Gesture Recognition on Resource-Constrained Devices
• Title（参考訳）: 資源制約デバイスにおけるジェスチャ認識のための効率的なセンサフュージョン
• Authors: Pietro Bartoli, Christian Veronesi, Tommaso Bondini, Andrea Giudici, Franco Zappa,
• Abstract要約: 従来のビジョンベースのアプローチでは、消費電力、計算レイテンシ、ユーザのプライバシに関する課題に直面している。 本稿では,低分解能のTime-of-Flight(ToF)と赤外線(IR)熱センサを融合した軽量・プライバシー保護型ジェスチャー認識システムを提案する。 特殊なグループ畳み込みアーキテクチャを持つコンパクトな畳み込みニューラルネットワーク(CNN)は、マイクロコントローラ上でこれらのモダリティを効率的に融合させるように設計されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gesture recognition is a cornerstone of Human-Computer Interaction (HCI) for smart eyewear, enabling natural and device-free control in augmented reality environments. Traditional vision-based approaches face significant challenges regarding power consumption, computational latency, and user privacy. This paper proposes a lightweight, privacy-preserving gesture recognition system based on the fusion of low-resolution Time-of-Flight (ToF) and Infrared (IR) thermal sensors. We used an 8 times 8 multizone ToF sensor (VL53L8CH) and an 8 times 8 IR array (AMG8833) to capture complementary depth and thermal cues. A compact Convolutional Neural Network (CNN) with a specialized grouped-convolution architecture is designed to fuse these modalities efficiently on a microcontroller (MCU). Experimental results on a custom dataset of 7 static gestures, validated via k-fold cross-validation, demonstrate that the proposed fusion strategy significantly outperforms single-sensor baselines with an accuracy of 92.3% and a macro F1-score of 0.93. Finally, on-device benchmarks on STM32F4 and STM32H7 MCUs confirm the system's suitability for resource-constrained wearables, requiring only 6,343 parameters and achieving millisecond-level inference latency with a total system power of 50 mW.
• Abstract（参考訳）: ジェスチャー認識は、スマートアイウェアのためのヒューマン・コンピュータ・インタラクション(HCI)の基盤であり、拡張現実環境で自然とデバイスフリーの制御を可能にする。 従来のビジョンベースのアプローチでは、消費電力、計算レイテンシ、ユーザのプライバシに関する重大な課題に直面している。 本稿では,低分解能のTime-of-Flight(ToF)と赤外線(IR)熱センサを融合した軽量・プライバシー保護型ジェスチャー認識システムを提案する。 我々は8倍のマルチゾーンToFセンサ (VL53L8CH) と8倍の8 IRアレイ (AMG8833) を用いて相補的な深度と熱的手がかりを捉えた。 マイクロコントローラ(MCU)上でこれらのモダリティを効率よく融合させるために,特殊なグループ畳み込みアーキテクチャを備えたコンパクト畳み込みニューラルネットワーク(CNN)が設計された。 k-foldクロスバリデーションによって検証された7つの静的なジェスチャーのカスタムデータセットに関する実験結果は、提案した融合戦略が92.3%の精度で単一センサベースラインと0.93のマクロF1スコアを著しく上回ることを示した。 最後に、STM32F4とSTM32H7 MCUのオンデバイスベンチマークでは、リソース制約のあるウェアラブルに対するシステムの適合性を確認し、6,343パラメータしか必要とせず、総システム電力50mWでミリ秒レベルの推論遅延を達成する。

関連論文リスト

• Development of ML model for triboelectric nanogenerator based sign language detection system [0.0]
  聴覚と聴覚のコミュニケーションギャップを埋めるためには手話認識が不可欠である。 本研究は、カスタムトライボ誘電体ナノジェネレータ(TENG)を用いたセンサグローブにおける機械学習(ML)とディープラーニングモデルの比較を示す。 提案したMFCC CNN-LSTMアーキテクチャは、融合前の独立した畳み込み枝を通じて各センサから周波数領域の特徴を処理する。
  論文  参考訳（メタデータ） (2026-03-26T08:35:02Z)
• Real-Time Human Activity Recognition on Edge Microcontrollers: Dynamic Hierarchical Inference with Multi-Spectral Sensor Fusion [7.184610830886172]
  本稿では,マルチスペクトル融合と解釈可能なモジュールに基づくリソース対応階層型ネットワークを提案する。 低消費電力のリアルタイム推論のためにARM Cortex-M4マイクロコントローラ上にデプロイされたHPPI-Netは96.70%の精度を実現している。 MobileNetV3と比較して、HPPI-Netは精度を1.22%改善し、RAM使用量を71.2%削減し、ROM使用量を42.1%削減した。
  論文  参考訳（メタデータ） (2026-01-29T15:21:45Z)
• Neuromorphic Eye Tracking for Low-Latency Pupil Detection [37.091037454305024]
  ウェアラブルシステムのアイトラッキングは低レイテンシとミリワットレベルの電力を必要とする。 ニューロモルフィックセンサーとスパイクニューラルネットワーク(SNN)は、有望な代替手段を提供する。 本稿では,トップパフォーマンスイベントベースの視線追跡モデルのニューロモルフィック版を提案する。
  論文  参考訳（メタデータ） (2025-12-10T11:30:21Z)
• STAR: A Privacy-Preserving, Energy-Efficient Edge AI Framework for Human Activity Recognition via Wi-Fi CSI in Mobile and Pervasive Computing Environments [0.0]
  Wi-Fi Channel State Information (CSI)によるヒューマンアクティビティ認識は、スマートホーム、ヘルスケア監視、モバイルIoTシステムに適した、プライバシ保護、コンタクトレスセンシングアプローチを提供する。 本稿では,軽量ニューラルネットワーク,適応信号処理,ハードウェア対応協調最適化を統合したエッジAI最適化フレームワークSTAR(Sensing Technology for Activity Recognition)を提案する。 サブ秒以下の応答レイテンシと低消費電力により、リアルタイムでプライバシ保護のHARが保証され、モバイルおよび普及型コンピューティング環境に実用的なスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-30T05:08:25Z)
• End-to-End Efficiency in Keyword Spotting: A System-Level Approach for Embedded Microcontrollers [0.18472148461613155]
  KWS(Keywords Spoting)は、組み込みデバイスとIoTデバイスのハンズフリーインタラクションを可能にする重要な技術である。 本研究では,DS-CNN,LiCoNet,TENetなどの最先端の軽量ニューラルネットワークアーキテクチャと,MobileNet上に構築したTypman-KWSアーキテクチャを比較した。 この結果から, 3つの残差ブロックを持つTKWSは, 14.4kパラメータしか持たない92.4%のF1スコアが得られることがわかった。
  論文  参考訳（メタデータ） (2025-09-08T16:01:55Z)
• SpikeSMOKE: Spiking Neural Networks for Monocular 3D Object Detection with Cross-Scale Gated Coding [40.87826765639894]
  SpikeSMOKEは低出力のモノクル3Dオブジェクト検出のための新しい試みである。 SpikeSMOKEはSMOKEと比較してエネルギー消費を大幅に削減できる。
  論文  参考訳（メタデータ） (2025-06-09T13:20:10Z)
• FemtoDet: An Object Detection Baseline for Energy Versus Performance Tradeoffs [27.006082622843653]
  常にオンの監視カメラのような畳み込みニューラルネットワークの視覚応用は、エネルギー制約にとって重要である。 本稿では,2つの視点からエネルギーと性能のトレードオフに到達するための検出器を設計し,ベースラインとして機能することを目的とする。
  論文  参考訳（メタデータ） (2023-01-17T06:24:08Z)
• Energy-efficient and Privacy-aware Social Distance Monitoring with Low-resolution Infrared Sensors and Adaptive Inference [4.158182639870093]
  低分解能赤外線センサを利用して、屋内空間におけるプライバシー保護社会距離監視ソリューションを実装できる。 簡単な起動トリガと8ビット量子化畳み込みニューラルネットワーク(CNN)のカスケードで構成されるエネルギー効率の良い適応型推論ソリューションを提案する。 8x8の低分解能赤外線センサの出力を処理すると、静的CNNベースのアプローチでエネルギー消費量を37～57%削減できることを示す。
  論文  参考訳（メタデータ） (2022-04-22T07:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。