Fugu-MT 論文翻訳(概要): A deep-learning--based multimodal depth-aware dynamic hand gesture recognition system

論文の概要: A deep-learning--based multimodal depth-aware dynamic hand gesture recognition system

arxiv url: http://arxiv.org/abs/2107.02543v1
Date: Tue, 6 Jul 2021 11:18:53 GMT
ステータス: 処理完了
システム内更新日: 2021-07-07 13:51:33.203872
Title: A deep-learning--based multimodal depth-aware dynamic hand gesture recognition system
Title（参考訳）: 深層学習に基づくマルチモーダル奥行き認識型動的ハンドジェスチャ認識システム
Authors: Hasan Mahmud, Mashrur Mahmud Morshed, Md. Kamrul Hasan
Abstract要約: 深度定量化画像ハンドスケルトン関節点を用いたダイナミックハンドジェスチャ認識(DHG)に着目した。特に,CNNとリカレントニューラルネットワーク(Recurrent Neural Network, RNN)を用いたマルチモーダル核融合ネットワークにおける深度量子化の効果について検討する。
参考スコア（独自算出の注目度）: 5.458813674116228
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Any spatio-temporal movement or reorientation of the hand, done with the intention of conveying a specific meaning, can be considered as a hand gesture. Inputs to hand gesture recognition systems can be in several forms, such as depth images, monocular RGB, or skeleton joint points. We observe that raw depth images possess low contrasts in the hand regions of interest (ROI). They do not highlight important details to learn, such as finger bending information (whether a finger is overlapping the palm, or another finger). Recently, in deep-learning--based dynamic hand gesture recognition, researchers are tying to fuse different input modalities (e.g. RGB or depth images and hand skeleton joint points) to improve the recognition accuracy. In this paper, we focus on dynamic hand gesture (DHG) recognition using depth quantized image features and hand skeleton joint points. In particular, we explore the effect of using depth-quantized features in Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) based multi-modal fusion networks. We find that our method improves existing results on the SHREC-DHG-14 dataset. Furthermore, using our method, we show that it is possible to reduce the resolution of the input images by more than four times and still obtain comparable or better accuracy to that of the resolutions used in previous methods.
Abstract（参考訳）: 特定の意味を伝える意図で行われる時空間的な手の動きや手の動きは、手の動きとみなすことができる。手動ジェスチャー認識システムへの入力は、深度画像、単分子RGB、骨格関節点など、いくつかの形式で行うことができる。生深度画像は利き手領域(ROI)のコントラストが低いことが観察された。指の曲げ情報(指が手のひらを重なっているか、他の指が重なっているか)など、学ぶべき重要な詳細は強調しない。近年,深層学習に基づくダイナミックハンドジェスチャ認識において,研究者は異なる入力モダリティ(例えば,)を融合させようとしている。 RGBまたは深度画像と手骨関節点)は、認識精度を向上させる。本稿では,深度定量化画像特徴と手首関節点を用いた動的手指ジェスチャー(DHG)認識に焦点を当てた。特に,畳み込みニューラルネットワーク (cnn) とリカレントニューラルネットワーク (rnn) のマルチモーダル融合ネットワークにおける深さ量子化特徴の利用の効果について検討する。本手法はSHREC-DHG-14データセットの既存の結果を改善する。さらに,本手法を用いることで,入力画像の解像度を4倍以上に削減し,従来手法と同等あるいは同等の精度が得られることを示す。

関連論文リスト

SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition [5.359837526794863]
ハンドポーズは、エゴセントリックな視点における行動認識のための重要な情報である。擬似深度画像のみを用いてRGBフレームに基づく自家中心の3次元ポーズ推定を改善することを提案する。
論文参考訳（メタデータ） (2024-08-19T14:30:29Z)
Exploring Deep Learning Image Super-Resolution for Iris Recognition [50.43429968821899]
重畳自動エンコーダ(SAE)と畳み込みニューラルネットワーク(CNN)の2つの深層学習単一画像超解法手法を提案する。精度評価と認識実験により,1.872個の近赤外虹彩画像のデータベースを用いて評価を行い,比較アルゴリズムよりも深層学習の方が優れていることを示す。
論文参考訳（メタデータ） (2023-11-02T13:57:48Z)
HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文参考訳（メタデータ） (2023-03-24T06:19:19Z)
Real-Time Hand Gesture Identification in Thermal Images [0.0]
我々のシステムは、フレーム内の複数のハンド領域を処理し、リアルタイムアプリケーションで高速に処理することができる。ジェスチャー10のサーマルイメージデータセットを新たに収集し,手動作認識精度97%を報告した。
論文参考訳（メタデータ） (2023-03-04T05:02:35Z)
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文参考訳（メタデータ） (2021-06-22T12:53:56Z)
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文参考訳（メタデータ） (2021-04-20T05:43:44Z)
Understanding the hand-gestures using Convolutional Neural Networks and Generative Adversial Networks [0.0]
このシステムは、リアルタイムハンドトラッキング、トレーニングジェスチャ、および畳み込みニューラルネットワークを用いたジェスチャー認識の3つのモジュールで構成されている。アルファベットや数字を含む36のジェスチャーの語彙でテストされ、アプローチの有効性が検証されている。
論文参考訳（メタデータ） (2020-11-10T02:20:43Z)
Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
論文参考訳（メタデータ） (2020-08-21T10:45:09Z)
Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter [62.26677215668959]
本稿では,意味的に有意な領域を粗い位置で特定する,軽量で教師付きの深層ネットワークを提案する。次に,これらセマンティック・サリエント領域の深層モデルを画素ワイド・サリエンシ改善として融合する。提案手法は単純だが有効であり,本手法は主眼をオブジェクトレベルのセマンティック・リグレード問題とみなすための最初の試みである。
論文参考訳（メタデータ） (2020-08-10T07:12:43Z)
FineHand: Learning Hand Shapes for American Sign Language Recognition [16.862375555609667]
本稿では,手形状の埋め込みを効果的に学習するためのアプローチを提案する。手形認識には手動ラベル付き手形と高信頼度予測を組み合わせて深部畳み込みニューラルネットワーク(CNN)を訓練する。より高品質な手形状モデルが最終映像ジェスチャー分類の精度を大幅に向上させることを実証する。
論文参考訳（メタデータ） (2020-03-04T23:32:08Z)
3D dynamic hand gestures recognition using the Leap Motion sensor and convolutional neural networks [0.0]
本稿では,Leap Motionセンサーを用いて取得した非静的なジェスチャーの認識方法を提案する。取得したジェスチャー情報をカラー画像に変換し、ジェスチャー中の手関節位置の変化を平面に投影する。ジェスチャーの分類はDeep Convolutional Neural Network (CNN)を用いて行われる。
論文参考訳（メタデータ） (2020-03-03T11:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。