論文の概要: From Unimodal to Multimodal: improving the sEMG-Based Pattern
Recognition via deep generative models
- arxiv url: http://arxiv.org/abs/2308.04091v1
- Date: Tue, 8 Aug 2023 07:15:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 13:45:39.243857
- Title: From Unimodal to Multimodal: improving the sEMG-Based Pattern
Recognition via deep generative models
- Title（参考訳）: ユニモーダルからマルチモーダルへ:深い生成モデルによるsEMGに基づくパターン認識の改善
- Authors: Wentao Wei, Linyan Ren
- Abstract要約: マルチモーダルハンドジェスチャー認識(HGR)システムは高い認識精度を実現する。
マルチモーダルジェスチャー認識データを取得するには、通常、ユーザーは追加のセンサーを装着する必要があるため、ハードウェアコストが増加する。
本稿では,仮想慣性計測ユニット(IMU)信号を用いた表面筋電図(sEMG)に基づくHGRの精度向上のための新しい生成手法を提案する。
- 参考スコア（独自算出の注目度）: 1.048643138097903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal hand gesture recognition (HGR) systems can achieve higher
recognition accuracy. However, acquiring multimodal gesture recognition data
typically requires users to wear additional sensors, thereby increasing
hardware costs. This paper proposes a novel generative approach to improve
Surface Electromyography (sEMG)-based HGR accuracy via virtual Inertial
Measurement Unit (IMU) signals. Specifically, we trained a deep generative
model based on the intrinsic correlation between forearm sEMG signals and
forearm IMU signals to generate virtual forearm IMU signals from the input
forearm sEMG signals at first. Subsequently, the sEMG signals and virtual IMU
signals were fed into a multimodal Convolutional Neural Network (CNN) model for
gesture recognition. To evaluate the performance of the proposed approach, we
conducted experiments on 6 databases, including 5 publicly available databases
and our collected database comprising 28 subjects performing 38 gestures,
containing both sEMG and IMU data. The results show that our proposed approach
outperforms the sEMG-based unimodal HGR method (with increases of
2.15%-13.10%). It demonstrates that incorporating virtual IMU signals,
generated by deep generative models, can significantly enhance the accuracy of
sEMG-based HGR. The proposed approach represents a successful attempt to
transition from unimodal HGR to multimodal HGR without additional sensor
hardware.
- Abstract（参考訳）: マルチモーダルハンドジェスチャー認識(HGR)システムは高い認識精度を実現する。
しかし、マルチモーダルなジェスチャー認識データを取得するには、ユーザーが追加のセンサーを装着する必要があるため、ハードウェアコストが増加する。
本稿では,仮想慣性計測ユニット(IMU)信号を用いた表面筋電図(sEMG)に基づくHGRの精度向上のための新しい生成手法を提案する。
具体的には,前腕sEMG信号と前腕IMU信号の内在的相関に基づいて深部生成モデルを訓練し,入力前腕sEMG信号から仮想前腕IMU信号を生成する。
その後、SEMG信号と仮想IMU信号は、ジェスチャー認識のためのマルチモーダル畳み込みニューラルネットワーク(CNN)モデルに入力される。
提案手法の性能を評価するため,SEMGデータとIMUデータの両方を含む38のジェスチャーを行う28の被験者からなる5つの公開データベースと収集データベースを含む6つのデータベースについて実験を行った。
その結果,提案手法は, sEMGをベースとした単調HGR法(2.15%～13.10%増加)よりも優れていた。
深部生成モデルにより生成された仮想IMU信号の組み込みは、sEMGベースのHGRの精度を大幅に向上させることを示した。
提案手法は,センサハードウェアを追加せずにHGRからHGRへの移行に成功したことを示す。
関連論文リスト
- emg2qwerty: A Large Dataset with Baselines for Touch Typing using Surface Electromyography [47.160223334501126]
emg2qwertyは、QWERTYキーボードでタッチ入力しながら手首に記録された非侵襲的筋電図信号の大規模なデータセットである。
1,135のセッションが108ユーザと346時間の録画にまたがっており、これまでで最大の公開データセットである。
sEMG信号のみを用いたキープレッシャの予測において,高いベースライン性能を示す。
論文 参考訳（メタデータ） (2024-10-26T05:18:48Z) - FORS-EMG: A Novel sEMG Dataset for Hand Gesture Recognition Across Multiple Forearm Orientations [1.3852370777848657]
表面筋電図(sEMG)信号はジェスチャー認識と頑健な義手発達に重要な可能性を秘めている。
本研究は、3つの異なる方向をまたいだ手の動きを評価するための新しいMFI sEMGデータセットを提案する。
論文 参考訳（メタデータ） (2024-09-03T14:23:06Z) - SpGesture: Source-Free Domain-adaptive sEMG-based Gesture Recognition with Jaccard Attentive Spiking Neural Network [18.954398018873682]
表面筋電図(sEMG)に基づくジェスチャー認識は、ウェアラブルデバイスに対して自然な、直感的な相互作用のモダリティを提供する。
既存の手法は、しばしば高い計算遅延とエネルギー消費の増大に悩まされる。
スパイキングニューラルネットワークに基づく新しいSpGestureフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T10:15:29Z) - G-MEMP: Gaze-Enhanced Multimodal Ego-Motion Prediction in Driving [71.9040410238973]
我々は、視線データを用いて、運転者の車両のエゴ軌道を推定することに集中する。
次に、GPSとビデオ入力と視線データを組み合わせた新しいマルチモーダルエゴ軌道予測ネットワークであるG-MEMPを開発する。
その結果,G-MEMPは両ベンチマークにおいて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-12-13T23:06:30Z) - EMGTFNet: Fuzzy Vision Transformer to decode Upperlimb sEMG signals for
Hand Gestures Recognition [0.1611401281366893]
本稿では,手動ジェスチャー認識を行うために,EMGTFNetと呼ばれるファジィニューラルブロック(FNB)を用いた視覚変換器(ViT)アーキテクチャを提案する。
提案モデルの精度は49種類の手ジェスチャーからなるNinaProデータベースを用いて検証した。
論文 参考訳（メタデータ） (2023-09-23T18:55:26Z) - DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial
Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。
現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。
本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T13:43:46Z) - Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。
CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。
睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
論文 参考訳（メタデータ） (2023-05-30T08:24:01Z) - HYDRA-HGR: A Hybrid Transformer-based Architecture for Fusion of
Macroscopic and Microscopic Neural Drive Information [11.443553761853856]
本研究では,顕微鏡レベルで時間的特徴と空間的特徴のセットを同時に抽出するハイブリッドモデルを提案する。
提案したHYDRA-HGRフレームワークは平均94.86%の精度で250ミリ秒のウィンドウサイズを実現している。
論文 参考訳（メタデータ） (2022-10-27T02:23:27Z) - Decision Forest Based EMG Signal Classification with Low Volume Dataset
Augmented with Random Variance Gaussian Noise [51.76329821186873]
我々は6種類の手振りを限定的なサンプル数で分類できるモデルを作成し、より広い聴衆によく一般化する。
信号のランダムなバウンドの使用など、より基本的な手法のセットにアピールするが、これらの手法がオンライン環境で持てる力を示したいと考えている。
論文 参考訳（メタデータ） (2022-06-29T23:22:18Z) - SumGNN: Multi-typed Drug Interaction Prediction via Efficient Knowledge
Graph Summarization [64.56399911605286]
本稿では,サブグラフ抽出モジュールによって実現された知識要約グラフニューラルネットワークSumGNNを提案する。
SumGNNは5.54%まで最高のベースラインを上回り、データ関係の低いタイプでは特にパフォーマンスの向上が顕著である。
論文 参考訳（メタデータ） (2020-10-04T00:14:57Z) - Transfer Learning for sEMG-based Hand Gesture Classification using Deep
Learning in a Master-Slave Architecture [0.0]
本研究は,複数のsEMGチャネルから記録された信号を用いて,インド手話からの信号の分類を行うディープニューラルネットワーク(DNN)からなる,新しいマスタスレーブアーキテクチャを提案する。
従来のDNNでは最大14%の改善が見られ、提案手法の適合性を主張する平均精度93.5%の合成データの追加により、マスタースレーブネットワークの最大9%の改善が見られた。
論文 参考訳（メタデータ） (2020-04-27T01:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。