論文の概要: A Deep Learning Framework for Recognizing both Static and Dynamic
Gestures
- arxiv url: http://arxiv.org/abs/2006.06321v2
- Date: Wed, 17 Mar 2021 10:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 13:33:06.341838
- Title: A Deep Learning Framework for Recognizing both Static and Dynamic
Gestures
- Title（参考訳）: 静的ジェスチャーと動的ジェスチャーの両方を認識するディープラーニングフレームワーク
- Authors: Osama Mazhar, Sofiane Ramdani, and Andrea Cherubini
- Abstract要約: 静的なジェスチャーと動的ジェスチャーの両方を,(奥行き検出なしで)単純なRGBビジョンを用いて認識する統合フレームワークを提案する。
我々はポーズ駆動型空間アテンション戦略を採用し、提案した静的・動的ジェスチャネットワーク - StaDNet をガイドする。
いくつかの実験において、提案手法が大規模Chalearn 2016データセットの最先端結果を上回っていることが示されている。
- 参考スコア（独自算出の注目度）: 0.8602553195689513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intuitive user interfaces are indispensable to interact with the human
centric smart environments. In this paper, we propose a unified framework that
recognizes both static and dynamic gestures, using simple RGB vision (without
depth sensing). This feature makes it suitable for inexpensive human-robot
interaction in social or industrial settings. We employ a pose-driven spatial
attention strategy, which guides our proposed Static and Dynamic gestures
Network - StaDNet. From the image of the human upper body, we estimate his/her
depth, along with the region-of-interest around his/her hands. The
Convolutional Neural Network in StaDNet is fine-tuned on a
background-substituted hand gestures dataset. It is utilized to detect 10
static gestures for each hand as well as to obtain the hand image-embeddings.
These are subsequently fused with the augmented pose vector and then passed to
the stacked Long Short-Term Memory blocks. Thus, human-centred frame-wise
information from the augmented pose vector and from the left/right hands
image-embeddings are aggregated in time to predict the dynamic gestures of the
performing person. In a number of experiments, we show that the proposed
approach surpasses the state-of-the-art results on the large-scale Chalearn
2016 dataset. Moreover, we transfer the knowledge learned through the proposed
methodology to the Praxis gestures dataset, and the obtained results also
outscore the state-of-the-art on this dataset.
- Abstract（参考訳）: 直感的なユーザインターフェースは、人間中心のスマート環境と対話するには不可欠です。
本稿では,静的なジェスチャーと動的ジェスチャーの両方を,(奥行き検出なしで)単純なRGBビジョンを用いて認識する統合フレームワークを提案する。
この機能は、社会的または工業的な環境での安価な人間とロボットの対話に適している。
我々はポーズ駆動型空間アテンション戦略を採用し、提案した静的・動的ジェスチャーネットワーク - StaDNet をガイドする。
人間の上半身の画像から、手周りの関心領域とともに、深度を推定する。
StaDNetの畳み込みニューラルネットワークは、バックグラウンド置換ハンドジェスチャデータセットに基づいて微調整される。
各手に対して10個の静的ジェスチャーを検出するとともに、手画像埋め込みを得る。
その後、これらは強化されたポーズベクトルと融合し、積み重ねられたロング短期記憶ブロックに渡される。
これにより、強化ポーズベクトルと左右手画像埋め込みとから人中心のフレームワイド情報を時間内に集約して、演奏者の動的ジェスチャーを予測する。
いくつかの実験で、提案手法が大規模chalearn 2016データセットの最先端結果を超えることを示した。
さらに,提案手法を用いて学習した知識をPrxisジェスチャデータセットに転送し,その結果もこのデータセットの最先端性よりも優れていることを示す。
関連論文リスト
- Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。
我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文 参考訳（メタデータ） (2023-03-24T06:19:19Z) - Snapture -- A Novel Neural Architecture for Combined Static and Dynamic
Hand Gesture Recognition [19.320551882950706]
そこで本研究では,新しいハイブリットハンドジェスチャ認識システムを提案する。
我々のアーキテクチャは静的なジェスチャーと動的ジェスチャーの両方を学ぶことができる。
本研究は,ロボットとの非言語コミュニケーションのためのジェスチャー認識研究と機械学習応用の両方に貢献する。
論文 参考訳（メタデータ） (2022-05-28T11:12:38Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文 参考訳（メタデータ） (2021-10-05T01:18:15Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural
Networks [71.09275975580009]
HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。
HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。
我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
論文 参考訳（メタデータ） (2021-07-02T17:59:54Z) - Learning Dynamics via Graph Neural Networks for Human Pose Estimation
and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。
具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。
PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T16:36:50Z) - "What's This?" -- Learning to Segment Unknown Objects from Manipulation
Sequences [27.915309216800125]
本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。
本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。
我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
論文 参考訳（メタデータ） (2020-11-06T10:55:28Z) - Self-supervised Human Activity Recognition by Learning to Predict
Cross-Dimensional Motion [16.457778420360537]
スマートフォン加速度計データを用いた人間行動認識のための自己教師型学習法を提案する。
まず、ラベルなし入力信号の表現は、深層畳み込みニューラルネットワークを訓練して加速度計値のセグメントを予測することによって学習される。
このタスクでは、凍結ネットワークの端に多数の完全に接続されたレイヤを追加し、ラベル付き加速度センサ信号で付加されたレイヤをトレーニングし、人間の活動の分類を学ぶ。
論文 参考訳（メタデータ） (2020-10-21T02:14:31Z) - Gesture Recognition from Skeleton Data for Intuitive Human-Machine
Interaction [0.6875312133832077]
本稿では,手工芸品の集合に基づく動的ジェスチャーのセグメント化と分類のためのアプローチを提案する。
ジェスチャー認識方法はスライディングウィンドウを適用し、空間次元と時間次元の両方から情報を抽出する。
最終的に、認識されたジェスチャーは、協調ロボットと対話するために使用される。
論文 参考訳（メタデータ） (2020-08-26T11:28:50Z) - 3D dynamic hand gestures recognition using the Leap Motion sensor and
convolutional neural networks [0.0]
本稿では,Leap Motionセンサーを用いて取得した非静的なジェスチャーの認識方法を提案する。
取得したジェスチャー情報をカラー画像に変換し、ジェスチャー中の手関節位置の変化を平面に投影する。
ジェスチャーの分類はDeep Convolutional Neural Network (CNN)を用いて行われる。
論文 参考訳（メタデータ） (2020-03-03T11:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。