論文の概要: Wearable Sensor-Based Few-Shot Continual Learning on Hand Gestures for Motor-Impaired Individuals via Latent Embedding Exploitation

• arxiv url: http://arxiv.org/abs/2405.08969v2
• Date: Tue, 11 Jun 2024 20:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 22:14:47.847317
• Title: Wearable Sensor-Based Few-Shot Continual Learning on Hand Gestures for Motor-Impaired Individuals via Latent Embedding Exploitation
• Title（参考訳）: 潜伏潜伏実験による運動不自由者に対するハンドジェスチャのウェアラブルセンサベースFew-Shot連続学習
• Authors: Riyad Bin Rafiq, Weishi Shi, Mark V. Albert,
• Abstract要約: 本稿では,リプレイベースのFew-Shot連続学習フレームワークにおいて,Latent Embedding Exploitation (LEE) 機構を導入する。 本手法は,ジェスチャー先行知識として知られる保存された潜伏埋め込みを利用して,多様な潜伏特徴空間を生成する。 本手法は、運動障害者がウェアラブルデバイスを活用するのに役立ち、そのユニークな動作スタイルを学習し応用することができる。
• 参考スコア（独自算出の注目度）: 6.782362178252351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hand gestures can provide a natural means of human-computer interaction and enable people who cannot speak to communicate efficiently. Existing hand gesture recognition methods heavily depend on pre-defined gestures, however, motor-impaired individuals require new gestures tailored to each individual's gesture motion and style. Gesture samples collected from different persons have distribution shifts due to their health conditions, the severity of the disability, motion patterns of the arms, etc. In this paper, we introduce the Latent Embedding Exploitation (LEE) mechanism in our replay-based Few-Shot Continual Learning (FSCL) framework that significantly improves the performance of fine-tuning a model for out-of-distribution data. Our method produces a diversified latent feature space by leveraging a preserved latent embedding known as gesture prior knowledge, along with intra-gesture divergence derived from two additional embeddings. Thus, the model can capture latent statistical structure in highly variable gestures with limited samples. We conduct an experimental evaluation using the SmartWatch Gesture and the Motion Gesture datasets. The proposed method results in an average test accuracy of 57.0%, 64.6%, and 69.3% by using one, three, and five samples for six different gestures. Our method helps motor-impaired persons leverage wearable devices, and their unique styles of movement can be learned and applied in human-computer interaction and social communication. Code is available at: https://github.com/riyadRafiq/wearable-latent-embedding-exploitation
• Abstract（参考訳）: ハンドジェスチャは、人間とコンピュータのインタラクションの自然な手段を提供し、会話ができない人でも効率的にコミュニケーションできる。 既存のジェスチャー認識法は、事前に定義されたジェスチャーに大きく依存するが、運動障害のある個人は、各個人のジェスチャー動作やスタイルに合わせて、新しいジェスチャーを必要とする。 異なる人物から採取したジェスチャーサンプルは、健康状態、障害の重症度、腕の動きパターンなどによって分布の変化がある。 本稿では,リプレイベースFew-Shot Continual Learning (FSCL) フレームワークにおけるLatent Embedding Exploitation (LEE) 機構を紹介する。 本手法は,2つの追加埋め込みから得られた着地内ばらつきとともに,ジェスチャー先行知識として知られる保存された潜伏埋め込みを活用することにより,多彩な潜伏特徴空間を創出する。 このように、モデルは、限られたサンプルで高度に可変なジェスチャーで潜時統計構造をキャプチャすることができる。 我々はSmartWatch GestureとMotion Gestureデータセットを用いて実験評価を行う。 提案手法は,6種類のジェスチャーに対して,1,3,5サンプルを用いて平均57.0%,64.6%,69.3%の検査精度を示す。 本手法は、運動障害者がウェアラブルデバイスを活用するのに役立ち、そのユニークな動作様式を学習し、人間とコンピュータのインタラクションやソーシャルコミュニケーションに適用することができる。 https://github.com/riyadRafiq/wearable-latent-embedding-exploitation

関連論文リスト

• ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis [50.69464138626748]
  マルチモーダルなジェスチャー合成のための拡散に基づくアプローチであるConvoFusionを提案する。 提案手法は,条件の異なる条件が与える影響をユーザが調節できる2つの誘導目標を提案する。 本手法は,モノログジェスチャを生成するか,会話ジェスチャを生成するかの訓練が可能である。
  論文  参考訳（メタデータ） (2024-03-26T17:59:52Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
  本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
  論文  参考訳（メタデータ） (2023-01-14T05:35:50Z)
• Fast Learning of Dynamic Hand Gesture Recognition with Few-Shot Learning Models [0.0]
  我々は5～10種類のダイナミックハンドジェスチャを認識するために訓練されたFew-Shot Learningモデルを開発した。 モデルは、手の動き毎に1つ、2つ、5つの例をモデルに提供することで、任意に交換可能である。 その結果、5の認識では88.8%、10のダイナミックハンドジェスチャでは81.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-12-16T09:31:15Z)
• Enabling hand gesture customization on wrist-worn devices [28.583516259577486]
  既存のジェスチャーセットの性能を劣化させることなく、ユーザから最小限のサンプルを必要とするジェスチャーカスタマイズのためのフレームワークを提案する。 われわれのアプローチは、ユーザーが既存のジェスチャーに縛られない未来への道を切り拓き、自分の好みや能力に合わせた新しいジェスチャーを創造的に導入することを可能にする。
  論文  参考訳（メタデータ） (2022-03-29T05:12:32Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Improving Human Motion Prediction Through Continual Learning [2.720960618356385]
  人間の動作予測は、より緊密な人間とロボットのコラボレーションを可能にするために不可欠な要素である。 人間の運動の変動は、人間のサイズの違いによる骨格レベルと、個々の動きの慣用性による運動レベルの両方で複合される。 本稿では、エンドツーエンドのトレーニングを可能にすると同時に、微調整の柔軟性も備えたモジュール型シーケンス学習手法を提案する。
  論文  参考訳（メタデータ） (2021-07-01T15:34:41Z)
• Multi-modal Fusion for Single-Stage Continuous Gesture Recognition [45.19890687786009]
  テンポラル・マルチモーダル・フュージョン(TMMF)と呼ばれる単一段階連続ジェスチャー認識フレームワークを導入する。 TMMFは、単一のモデルでビデオ内の複数のジェスチャーを検出し、分類することができる。 このアプローチは、前処理のセグメンテーションステップを必要とせずに、ジェスチャーと非ジェスチャーの自然な遷移を学習する。
  論文  参考訳（メタデータ） (2020-11-10T07:09:35Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。