論文の概要: Towards Predicting Fine Finger Motions from Ultrasound Images via
Kinematic Representation
- arxiv url: http://arxiv.org/abs/2202.05204v1
- Date: Thu, 10 Feb 2022 18:05:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-11 17:05:34.182552
- Title: Towards Predicting Fine Finger Motions from Ultrasound Images via
Kinematic Representation
- Title(参考訳): キネマティック表現による超音波画像からの微細指運動の予測
- Authors: Dean Zadok, Oren Salzman, Alon Wolf and Alex M. Bronstein
- Abstract要約: 米国の画像から特定指のアクティベーションを識別する推論問題について検討した。
本研究は,ロボット補綴器のアームアンプへの採用率向上に向けた重要なステップであると考えている。
- 参考スコア(独自算出の注目度): 12.49914980193329
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central challenge in building robotic prostheses is the creation of a
sensor-based system able to read physiological signals from the lower limb and
instruct a robotic hand to perform various tasks. Existing systems typically
perform discrete gestures such as pointing or grasping, by employing
electromyography (EMG) or ultrasound (US) technologies to analyze the state of
the muscles. In this work, we study the inference problem of identifying the
activation of specific fingers from a sequence of US images when performing
dexterous tasks such as keyboard typing or playing the piano. While estimating
finger gestures has been done in the past by detecting prominent gestures, we
are interested in classification done in the context of fine motions that
evolve over time. We consider this task as an important step towards higher
adoption rates of robotic prostheses among arm amputees, as it has the
potential to dramatically increase functionality in performing daily tasks. Our
key observation, motivating this work, is that modeling the hand as a robotic
manipulator allows to encode an intermediate representation wherein US images
are mapped to said configurations. Given a sequence of such learned
configurations, coupled with a neural-network architecture that exploits
temporal coherence, we are able to infer fine finger motions. We evaluated our
method by collecting data from a group of subjects and demonstrating how our
framework can be used to replay music played or text typed. To the best of our
knowledge, this is the first study demonstrating these downstream tasks within
an end-to-end system.
- Abstract(参考訳): ロボット義肢構築における中心的な課題は、下肢から生理的信号を読み取り、様々なタスクを実行するようロボットに指示できるセンサーベースのシステムを作ることである。
既存のシステムは、筋の状態を解析するために筋電図(EMG)や超音波(US)技術を用いて、指差や握りなどの離散的なジェスチャーを行うのが一般的である。
そこで本研究では,キーボードタイピングやピアノ演奏などの巧妙なタスクを行う際に,us画像のシーケンスから特定の指のアクティベーションを識別する推論問題について検討する。
指のジェスチャーの推定は目立ったジェスチャーの検出によって過去に行われてきたが、時間とともに進化する微妙な動きの文脈で行われる分類に興味を持っている。
本研究は, ロボット補綴器の装着率向上に向けた重要なステップとして, 日常作業における機能向上の可能性を秘めている。
この研究のモチベーションは、ロボットマニピュレータとして手をモデリングすることで、米国内の画像がそれらの構成にマッピングされる中間表現をエンコードできることです。
このような学習された構成のシーケンスと、時間的コヒーレンスを利用するニューラルネットワークアーキテクチャを組み合わせることで、指の細かい動きを推測することができる。
被験者のグループからデータを収集し,演奏やテキスト入力の再生に我々のフレームワークをどのように利用できるかを示す。
私たちの知る限りでは、エンドツーエンドシステム内でこれらの下流タスクを実証する最初の研究です。
関連論文リスト
- Intelligent Robotic Sonographer: Mutual Information-based Disentangled
Reward Learning from Few Demonstrations [42.731081399649916]
この研究は、インテリジェントなロボットソノグラフィーによって、自律的に標的解剖を発見」し、専門家から学ぶことによって、米国のプローブを関連する2D平面にナビゲートすることを提案する。
専門家による基礎となる高レベルの生理的知識は神経報酬関数によって推測される。
提案した高度なフレームワークは、生き生きとしたヒトの頸動脈データだけでなく、さまざまな幻影や見えない幻影を強く扱うことができる。
論文 参考訳(メタデータ) (2023-07-07T16:30:50Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳(メタデータ) (2023-05-12T17:24:02Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳(メタデータ) (2023-01-17T21:41:21Z) - See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。
私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
論文 参考訳(メタデータ) (2022-12-07T18:55:53Z) - Simultaneous Estimation of Hand Configurations and Finger Joint Angles
using Forearm Ultrasound [8.753262480814493]
前腕超音波画像は、手の動きを理解するのに使える筋骨格の可視化を提供する。
我々は,MPP関節角度を予測するためのCNNベースのディープラーニングパイプラインを提案する。
ヒューマン・マシン・インタフェースのリアルタイム制御を目的としたMPP関節角度と手構成の両方を推定するための低遅延パイプラインが提案されている。
論文 参考訳(メタデータ) (2022-11-29T02:06:19Z) - Efficient Gesture Recognition for the Assistance of Visually Impaired
People using Multi-Head Neural Networks [5.883916678819684]
本稿では,視覚障害者支援を目的とした手ジェスチャーによって制御されるモバイルデバイスの対話型システムを提案する。
このシステムにより、ユーザーはシンプルな静的、ダイナミックな手の動きをすることでデバイスと対話できる。
各ジェスチャーは、オブジェクト認識、シーン記述、イメージスケーリングなど、システム内の異なるアクションをトリガーする。
論文 参考訳(メタデータ) (2022-05-14T06:01:47Z) - HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent
Inference in Prosthetic Hands [3.7886097009023376]
未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。
マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。
環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
論文 参考訳(メタデータ) (2021-03-08T15:51:03Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。