論文の概要: Simultaneous Estimation of Hand Configurations and Finger Joint Angles using Forearm Ultrasound

• arxiv url: http://arxiv.org/abs/2211.15871v1
• Date: Tue, 29 Nov 2022 02:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 18:10:57.998195
• Title: Simultaneous Estimation of Hand Configurations and Finger Joint Angles using Forearm Ultrasound
• Title（参考訳）: 前腕超音波による手の形状と指関節角度の同時推定
• Authors: Keshav Bimbraw, Christopher J. Nycz, Matt Schueler, Ziming Zhang, and Haichong K. Zhang
• Abstract要約: 前腕超音波画像は、手の動きを理解するのに使える筋骨格の可視化を提供する。 我々は,MPP関節角度を予測するためのCNNベースのディープラーニングパイプラインを提案する。 ヒューマン・マシン・インタフェースのリアルタイム制御を目的としたMPP関節角度と手構成の両方を推定するための低遅延パイプラインが提案されている。
• 参考スコア（独自算出の注目度）: 8.753262480814493
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the advancement in computing and robotics, it is necessary to develop fluent and intuitive methods for interacting with digital systems, augmented/virtual reality (AR/VR) interfaces, and physical robotic systems. Hand motion recognition is widely used to enable these interactions. Hand configuration classification and MCP joint angle detection is important for a comprehensive reconstruction of hand motion. sEMG and other technologies have been used for the detection of hand motions. Forearm ultrasound images provide a musculoskeletal visualization that can be used to understand hand motion. Recent work has shown that these ultrasound images can be classified using machine learning to estimate discrete hand configurations. Estimating both hand configuration and MCP joint angles based on forearm ultrasound has not been addressed in the literature. In this paper, we propose a CNN based deep learning pipeline for predicting the MCP joint angles. The results for the hand configuration classification were compared by using different machine learning algorithms. SVC with different kernels, MLP, and the proposed CNN have been used to classify the ultrasound images into 11 hand configurations based on activities of daily living. Forearm ultrasound images were acquired from 6 subjects instructed to move their hands according to predefined hand configurations. Motion capture data was acquired to get the finger angles corresponding to the hand movements at different speeds. Average classification accuracy of 82.7% for the proposed CNN and over 80% for SVC for different kernels was observed on a subset of the dataset. An average RMSE of 7.35 degrees was obtained between the predicted and the true MCP joint angles. A low latency (6.25 - 9.1 Hz) pipeline has been proposed for estimating both MCP joint angles and hand configuration aimed at real-time control of human-machine interfaces.
• Abstract（参考訳）: コンピュータとロボティクスの進歩により、デジタルシステム、拡張現実(AR/VR)インターフェース、物理ロボットシステムと対話するための、流動的で直感的な手法を開発する必要がある。 ハンドモーション認識はこれらの相互作用を可能にするために広く利用されている。 手の動きの包括的再構築には手形状分類とmcp関節角度検出が重要である。 sEMGや他の技術は手の動きの検出に使われてきた。 前腕超音波画像は、手の動きを理解するのに使える筋骨格の可視化を提供する。 近年の研究では、これらの超音波画像は機械学習を用いて離散的な手の配置を推定できることを示した。 前腕超音波による手指形状とMPP関節角度の推定は文献では行われていない。 本稿では,MPP関節角度を予測するためのCNNに基づくディープラーニングパイプラインを提案する。 手の配置分類の結果は異なる機械学習アルゴリズムを用いて比較した。 異なるカーネル, MLP, 提案したCNNのSVCを用いて, 日々の生活活動に基づいて, 超音波画像の11手構成に分類した。 前腕超音波画像は手の動きに応じて手を動かすよう指示された6名の被験者から得られた。 モーションキャプチャーデータを取得し、手の動きに対応する指の角度を異なる速度で取得した。 データセットのサブセットでは、提案されたCNNでは平均82.7%、異なるカーネルでは80%以上の分類精度が観測された。 予測値と真のmcp関節角の間に平均7.35°のrmseが得られた。 ヒューマンマシンインタフェースのリアルタイム制御を目的としたmcp関節角度とハンド構成の両方を推定するための低レイテンシ(6.25 - 9.1hz)パイプラインが提案されている。

関連論文リスト

• Hand Gesture Classification Based on Forearm Ultrasound Video Snippets Using 3D Convolutional Neural Networks [2.1301560294088318]
  前腕超音波は手の動きに伴う筋形態の変化について詳細な情報を提供しており、手の動きを推定するのに使用できる。 従来の研究は、畳み込みニューラルネットワーク(CNN)などの技術を用いて、2次元(2次元)超音波画像フレームの解析に重点を置いてきた。 本研究は3次元CNNに基づく手法を用いて,ジェスチャー認識のための超音波ビデオセグメント内の時間パターンをキャプチャする。
  論文  参考訳（メタデータ） (2024-09-24T19:51:41Z)
• Hand Gesture Classification on Praxis Dataset: Trading Accuracy for Expense [0.6390468088226495]
  ボディージョイント座標で表される「骨格」データに、Praxデータセットから焦点を当てる。 PRAXISデータセットには、アルツハイマー病などの皮質病患者の記録が含まれている。 リカレントニューラルネットワーク(RNN)のような深層学習アーキテクチャとウィンドウニング手法を組み合わせることで,全体的な精度は70.8%に達した。
  論文  参考訳（メタデータ） (2023-11-01T18:18:09Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• Improved Static Hand Gesture Classification on Deep Convolutional Neural Networks using Novel Sterile Training Technique [2.534406146337704]
  非接触手ポーズと静的ジェスチャー認識は多くのアプリケーションで注目されている。 本稿では, ステレオ画像の導入により, 効率的なデータ収集手法と深部CNN訓練手法を提案する。 提案されたデータ収集とトレーニング手法を適用すると、静的ハンドジェスチャの分類率が85%から93%に向上する。
  論文  参考訳（メタデータ） (2023-05-03T11:10:50Z)
• 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
  本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。 シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。 人工膝置換手術を10回行った4D-ORデータセットを作成した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:45Z)
• Towards Predicting Fine Finger Motions from Ultrasound Images via Kinematic Representation [12.49914980193329]
  米国の画像から特定指のアクティベーションを識別する推論問題について検討した。 本研究は,ロボット補綴器のアームアンプへの採用率向上に向けた重要なステップであると考えている。
  論文  参考訳（メタデータ） (2022-02-10T18:05:09Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Mapping Surgeon's Hand/Finger Motion During Conventional Microsurgery to Enhance Intuitive Surgical Robot Teleoperation [0.5635300481123077]
  現在の人間とロボットのインターフェイスは直感的な遠隔操作がなく、外科医の手や指の動きを模倣することはできない。 本研究は, 心臓微小外科手術における外科医の総手の動きと微細なシナジー運動を直感的に記録し, マッピングする方法を示すパイロット研究である。
  論文  参考訳（メタデータ） (2021-02-21T11:21:30Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。