論文の概要: Deep self-supervised learning with visualisation for automatic gesture recognition

• arxiv url: http://arxiv.org/abs/2406.12440v1
• Date: Tue, 18 Jun 2024 09:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:37:07.975856
• Title: Deep self-supervised learning with visualisation for automatic gesture recognition
• Title（参考訳）: 自動ジェスチャー認識のための可視化による深層自己教師型学習
• Authors: Fabien Allemand, Alessio Mazzela, Jun Villette, Decky Aspandi, Titus Zaharia,
• Abstract要約: ジェスチャーは非言語コミュニケーションの重要な手段であり、視覚的モダリティにより、人間が対話中に情報を伝達し、人々や人間と機械の相互作用を促進する。 本研究では, 深層学習を用いた手指の認識方法として, 教師あり学習法, 自己教師あり手法, 3次元移動骨格データに適用した可視化技術について検討する。
• 参考スコア（独自算出の注目度）: 1.6647755388646919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gesture is an important mean of non-verbal communication, with visual modality allows human to convey information during interaction, facilitating peoples and human-machine interactions. However, it is considered difficult to automatically recognise gestures. In this work, we explore three different means to recognise hand signs using deep learning: supervised learning based methods, self-supervised methods and visualisation based techniques applied to 3D moving skeleton data. Self-supervised learning used to train fully connected, CNN and LSTM method. Then, reconstruction method is applied to unlabelled data in simulated settings using CNN as a backbone where we use the learnt features to perform the prediction in the remaining labelled data. Lastly, Grad-CAM is applied to discover the focus of the models. Our experiments results show that supervised learning method is capable to recognise gesture accurately, with self-supervised learning increasing the accuracy in simulated settings. Finally, Grad-CAM visualisation shows that indeed the models focus on relevant skeleton joints on the associated gesture.
• Abstract（参考訳）: ジェスチャーは非言語コミュニケーションの重要な手段であり、視覚的モダリティにより、人間が対話中に情報を伝達し、人々や人間と機械の相互作用を促進する。 しかし,ジェスチャーの自動認識は困難である。 本研究では, 深層学習を用いた手指の認識方法として, 教師あり学習法, 自己教師あり手法, 3次元移動骨格データに適用した可視化技術について検討する。 完全に接続されたCNNとLSTMメソッドの学習に使用される自己教師付き学習。 次に、学習した特徴を用いて残りのラベル付きデータの予測を行うバックボーンとしてCNNを用いたシミュレーション環境での非ラベル付きデータに再構成手法を適用した。 最後に、モデルの焦点を見つけるためにGrad-CAMを適用する。 実験結果から,教師あり学習法はジェスチャーを正確に認識でき,自己教師あり学習はシミュレートされた設定における精度を高めていることがわかった。 そして最後に、Grad-CAMの視覚化によって、モデルが実際に関連する骨格関節に集中していることが分かる。

関連論文リスト

• Zero-Shot Underwater Gesture Recognition [3.4078654008228924]
  手のジェスチャー認識は、人間が非言語で機械と対話することを可能にする。 近年,CADDIANと呼ばれるジェスチャー言語がダイバー向けに考案され,高精度なジェスチャー認識のための教師あり学習法が適用されている。 本研究は,ゼロショット水中ジェスチャー認識 (ZSUGR) の必要性を提唱するものである。本研究の目的は,少数のクラスからのジェスチャーの視覚的サンプルを用いてモデルを訓練し,得られた知識をテスト時に伝達し,意味的に類似しないジェスチャークラスも認識することである。
  論文  参考訳（メタデータ） (2024-07-19T08:16:46Z)
• Enhancing 2D Representation Learning with a 3D Prior [21.523007105586217]
  視覚データの堅牢で効果的な表現を学習することは、コンピュータビジョンの基本的な課題である。 従来、これはラベル付きデータによるトレーニングモデルによって達成される。 本稿では,3次元構造を明示的に強制することで,既存の自己管理手法を強化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T17:55:22Z)
• Towards Open-World Gesture Recognition [19.019579924491847]
  手首輪デバイスに基づくジェスチャー認識などのジェスチャー認識を含む実世界のアプリケーションでは、データ分布は時間とともに変化する可能性がある。 本稿では,機械学習モデルが新しいタスクに適応できるようにするために,継続学習の利用を提案する。 オープンワールドな手首のジェスチャー認識プロセスの開発を促進するための設計ガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-01-20T06:45:16Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Crop-Transform-Paste: Self-Supervised Learning for Visual Tracking [137.26381337333552]
  本研究では,十分なトレーニングデータを合成できるCrop-Transform-Paste演算を開発した。 オブジェクトの状態はすべての合成データで知られているので、既存のディープトラッカーは人間のアノテーションなしで日常的に訓練することができる。
  論文  参考訳（メタデータ） (2021-06-21T07:40:34Z)
• Understanding the hand-gestures using Convolutional Neural Networks and Generative Adversial Networks [0.0]
  このシステムは、リアルタイムハンドトラッキング、トレーニングジェスチャ、および畳み込みニューラルネットワークを用いたジェスチャー認識の3つのモジュールで構成されている。 アルファベットや数字を含む36のジェスチャーの語彙でテストされ、アプローチの有効性が検証されている。
  論文  参考訳（メタデータ） (2020-11-10T02:20:43Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition [123.62183172631443]
  本稿では,SSLと半教師付きスキームを緊密に結合する新しいフレームワークであるAdversarial Self-Supervised Learning (ASSL)を紹介する。 具体的には,3次元動作認識のための学習表現の識別能力を向上させる効果的なSSL方式を設計する。
  論文  参考訳（メタデータ） (2020-07-12T08:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。