論文の概要: On-device Real-time Custom Hand Gesture Recognition
- arxiv url: http://arxiv.org/abs/2309.10858v1
- Date: Tue, 19 Sep 2023 18:05:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 18:16:29.972697
- Title: On-device Real-time Custom Hand Gesture Recognition
- Title(参考訳): オンデバイスリアルタイムカスタムハンドジェスチャ認識
- Authors: Esha Uboweja, David Tian, Qifei Wang, Yi-Chun Kuo, Joe Zou, Lu Wang,
George Sung, Matthias Grundmann
- Abstract要約: ユーザが自分のジェスチャー認識パイプラインを簡単にカスタマイズおよびデプロイできる、ユーザフレンドリーなフレームワークを提案する。
我々のフレームワークは、カスタムジェスチャー認識のための微調整が可能な、トレーニング済みのシングルハンド埋め込みモデルを提供する。
また、カスタムジェスチャー認識モデルのトレーニングとデプロイのためのローコードソリューションも提供しています。
- 参考スコア(独自算出の注目度): 5.3581349005036465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most existing hand gesture recognition (HGR) systems are limited to a
predefined set of gestures. However, users and developers often want to
recognize new, unseen gestures. This is challenging due to the vast diversity
of all plausible hand shapes, e.g. it is impossible for developers to include
all hand gestures in a predefined list. In this paper, we present a
user-friendly framework that lets users easily customize and deploy their own
gesture recognition pipeline. Our framework provides a pre-trained single-hand
embedding model that can be fine-tuned for custom gesture recognition. Users
can perform gestures in front of a webcam to collect a small amount of images
per gesture. We also offer a low-code solution to train and deploy the custom
gesture recognition model. This makes it easy for users with limited ML
expertise to use our framework. We further provide a no-code web front-end for
users without any ML expertise. This makes it even easier to build and test the
end-to-end pipeline. The resulting custom HGR is then ready to be run on-device
for real-time scenarios. This can be done by calling a simple function in our
open-sourced model inference API, MediaPipe Tasks. This entire process only
takes a few minutes.
- Abstract(参考訳): 既存のハンドジェスチャ認識(hgr)システムのほとんどは、予め定義されたジェスチャセットに限定されている。
しかし、ユーザーやデベロッパーは目立たない新しいジェスチャーを認識したがることが多い。
例えば、開発者が事前に定義されたリストにすべての手の動きを含めることは不可能である。
本稿では,ユーザが自身のジェスチャー認識パイプラインを簡単にカスタマイズし,デプロイできる,ユーザフレンドリーなフレームワークを提案する。
我々のフレームワークは、カスタムジェスチャー認識のための微調整が可能な、トレーニング済みのシングルハンド埋め込みモデルを提供する。
ユーザはWebカメラの前でジェスチャーを実行して、ジェスチャー毎に少量の画像を集めることができる。
また、カスタムジェスチャー認識モデルのトレーニングとデプロイのためのローコードソリューションも提供しています。
これにより、MLの専門知識が限られているユーザでも簡単にフレームワークを使えるようになります。
さらに、MLの専門知識がなくても、ユーザにノーコードWebフロントエンドを提供しています。
これにより、エンドツーエンドパイプラインの構築とテストがさらに簡単になります。
結果のカスタムHGRは、リアルタイムシナリオのためにデバイス上で実行される準備ができている。
これは、オープンソースのモデル推論APIであるMediaPipe Tasksで単純な関数を呼び出すことで実現できます。
このプロセス全体では数分しかかからない。
関連論文リスト
- From Pixels to UI Actions: Learning to Follow Instructions via Graphical
User Interfaces [66.85108822706489]
本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。
このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
論文 参考訳(メタデータ) (2023-05-31T23:39:18Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳(メタデータ) (2023-05-12T17:24:02Z) - GesSure -- A Robust Face-Authentication enabled Dynamic Gesture
Recognition GUI Application [1.3649494534428745]
本稿では,頑健で顔認証が可能なジェスチャー認識システムを設計することを目的とする。
タスク操作に意味があり、関連するジェスチャーを使用します。
私たちのプロトタイプは、保存、印刷、ビデオプレイヤの操作と終了の制御、スリープ、シャットダウン、直感的にアンロックといった文脈に依存しないオペレーティングシステムタスクをうまく実行しました。
論文 参考訳(メタデータ) (2022-07-22T12:14:35Z) - The Gesture Authoring Space: Authoring Customised Hand Gestures for
Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。
提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。
本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
論文 参考訳(メタデータ) (2022-07-03T18:33:33Z) - HaGRID - HAnd Gesture Recognition Image Dataset [79.21033185563167]
本稿では,ハンドジェスチャ認識システム構築のための巨大なデータセットであるHaGRIDを紹介し,それを管理するデバイスとのインタラクションに着目した。
ジェスチャーは静的だが、特にいくつかの動的ジェスチャーを設計する能力のために拾われた。
HaGRIDには54,800の画像とジェスチャーラベル付きバウンディングボックスアノテーションが含まれており、手検出とジェスチャー分類のタスクを解決している。
論文 参考訳(メタデータ) (2022-06-16T14:41:32Z) - On-device Real-time Hand Gesture Recognition [1.4658400971135652]
本稿では,1台のRGBカメラから予め定義された静的ジェスチャーを検知するデバイス上でのリアルタイム手ジェスチャー認識(HGR)システムを提案する。
ハンドスケルトントラッカーの基礎としてMediaPipe Handsを使用し、キーポイント精度を改善し、世界距離空間における3次元キーポイントの推定を追加する。
論文 参考訳(メタデータ) (2021-10-29T18:33:25Z) - SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。
最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。
本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
論文 参考訳(メタデータ) (2021-06-21T10:57:49Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Gestop : Customizable Gesture Control of Computer Systems [0.3553493344868413]
Gestopはデモからジェスチャーを検出することを学習するフレームワークで、エンドユーザがカスタマイズできる。
ユーザはジェスチャーを使って、RGBのカメラしか持たないコンピュータとリアルタイムで対話できる。
論文 参考訳(メタデータ) (2020-10-25T19:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。