Fugu-MT 論文翻訳(概要): Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control

論文の概要: Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control

arxiv url: http://arxiv.org/abs/2104.03893v1
Date: Thu, 8 Apr 2021 17:01:19 GMT
ステータス: 処理完了
システム内更新日: 2021-04-09 13:15:32.040177
Title: Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control
Title（参考訳）: 人工手指制御におけるEMGのマルチモーダル融合と人間のグラフインテント推論のためのビジョン
Authors: Mehrshad Zandigohar, Mo Han, Mohammadreza Sharif, Sezen Yagmur Gunay, Mariusz P. Furmanek, Mathew Yarossi, Paolo Bonato, Cagdas Onal, Taskin Padir, Deniz Erdogmus, Gunar Schirner
Abstract要約: 脳波やEMGなどの生理学的信号に基づく現在の制御方法は、推論結果が悪い傾向にあります。視線映像,視線,EMGを用いた意図推論を前腕から把握するためのベイジアンエビデンス融合フレームワークを提案する。
参考スコア（独自算出の注目度）: 12.858441193883438
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For lower arm amputees, robotic prosthetic hands offer the promise to regain the capability to perform fine object manipulation in activities of daily living. Current control methods based on physiological signals such as EEG and EMG are prone to poor inference outcomes due to motion artifacts, variability of skin electrode junction impedance over time, muscle fatigue, and other factors. Visual evidence is also susceptible to its own artifacts, most often due to object occlusion, lighting changes, variable shapes of objects depending on view-angle, among other factors. Multimodal evidence fusion using physiological and vision sensor measurements is a natural approach due to the complementary strengths of these modalities. In this paper, we present a Bayesian evidence fusion framework for grasp intent inference using eye-view video, gaze, and EMG from the forearm processed by neural network models. We analyze individual and fused performance as a function of time as the hand approaches the object to grasp it. For this purpose, we have also developed novel data processing and augmentation techniques to train neural network components. Our experimental data analyses demonstrate that EMG and visual evidence show complementary strengths, and as a consequence, fusion of multimodal evidence can outperform each individual evidence modality at any given time. Specifically, results indicate that, on average, fusion improves the instantaneous upcoming grasp type classification accuracy while in the reaching phase by 13.66% and 14.8%, relative to EMG and visual evidence individually. An overall fusion accuracy of 95.3% among 13 labels (compared to a chance level of 7.7%) is achieved, and more detailed analysis indicate that the correct grasp is inferred sufficiently early and with high confidence compared to the top contender, in order to allow successful robot actuation to close the loop.
Abstract（参考訳）: 下腕のアンプでは、ロボット義手は日常の生活で細かい物体操作を行う能力を取り戻すことを約束する。脳波や筋電図などの生理的信号に基づく現在の制御方法は、運動アーチファクト、経時的皮膚電極接合インピーダンスの変動性、筋疲労、その他の要因による推測結果の低下を招きやすい。視覚的証拠は、しばしばオブジェクトの閉塞、照明の変化、ビューアングルに依存するオブジェクトの可変形状などによって、自身の人工物にも影響を受けやすい。生理的および視覚的センサ計測を用いたマルチモーダルエビデンス融合は、これらのモダリティの相補的な強度による自然なアプローチである。本稿では,ニューラルネットモデルにより処理された前腕からの視線映像,視線,筋電図を用いた意図推定のためのベイズ証拠融合フレームワークを提案する。我々は、手が物体に近づくと、時間関数として個人と融合のパフォーマンスを分析する。この目的のために、ニューラルネットワークコンポーネントをトレーニングするための新しいデータ処理および拡張技術を開発した。実験データから,EMGと視覚的エビデンスは相補的な強度を示し,その結果,多モーダルなエビデンスの融合は各時間における各エビデンスモダリティより優れることが示された。具体的には、核融合は平均して、直近の把握型分類精度を13.66%、14.8%向上させ、EMGと視覚的証拠を個別に比較した。 13のラベルのうち95.3%(チャンスレベル7.7%)の総合融解精度を達成し、より詳細な分析により、ロボットの動作を成功させるために、正しい把持が十分に早期に推測され、上位候補よりも高い信頼度で達成されていることを示している。

関連論文リスト

Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文参考訳（メタデータ） (2024-11-08T04:53:55Z)
Scaling Wearable Foundation Models [54.93979158708164]
センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
論文参考訳（メタデータ） (2024-10-17T15:08:21Z)
Active inference and deep generative modeling for cognitive ultrasound [20.383444113659476]
解剖学的環境と相互に相互作用する情報探索エージェントとして,US画像システムを再キャストできることが示唆された。このようなエージェントは、送信受信シーケンスを自律的に適応して、画像を完全にパーソナライズし、情報取得をその場で積極的に最大化する。次に,不確実性を積極的に低減し,一連の実験において診断値を最大化する機構をシステムに装備する。
論文参考訳（メタデータ） (2024-10-17T08:09:14Z)
Remote Bio-Sensing: Open Source Benchmark Framework for Fair Evaluation of rPPG [2.82697733014759]
r(pg photoplethysmography)は、カメラで捉えたヘモグロビンの光吸収特性を用いてBVP(Blood Volume Pulse)を測定し、分析する技術である。本研究は,多種多様なデータセットを対象とした様々なrベンチマーク手法の評価を行い,妥当性評価と比較を行うためのフレームワークを提供することを目的とする。
論文参考訳（メタデータ） (2023-07-24T09:35:47Z)
A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications [56.458448869572294]
脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
論文参考訳（メタデータ） (2022-06-17T10:17:24Z)
Cross-Modality Neuroimage Synthesis: A Survey [71.27193056354741]
マルチモダリティイメージングは、疾患の診断を改善し、解剖学的特性を持つ組織における相違を明らかにする。完全な整列とペアの多モードニューロイメージングデータの存在は、脳研究においてその効果を証明している。もう一つの解決策は、教師なしまたは弱教師なしの学習方法を探究し、欠落した神経画像データを合成することである。
論文参考訳（メタデータ） (2022-02-14T19:29:08Z)
Continuous Decoding of Daily-Life Hand Movements from Forearm Muscle Activity for Enhanced Myoelectric Control of Hand Prostheses [78.120734120667]
本研究では,前腕のEMG活性をハンドキネマティクスに連続的にマップする,長期記憶(LSTM)ネットワークに基づく新しい手法を提案する。私たちの研究は、この困難なデータセットを使用するハンドキネマティクスの予測に関する最初の報告です。提案手法は, 人工手指の複数のDOFの独立的, 比例的アクティベーションのための制御信号の生成に適していることが示唆された。
論文参考訳（メタデータ） (2021-04-29T00:11:32Z)
From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels [6.772076545800592]
Plackett-Luceモデルに基づいた新しい確率分類器を構築し、把握上の確率分布を予測する。提案モデルは,最もポピュラーで生産性の高い畳み込みニューラルネットワークフレームワークに適用可能であることを示す。
論文参考訳（メタデータ） (2021-03-08T16:12:38Z)
HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent Inference in Prosthetic Hands [3.7886097009023376]
未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
論文参考訳（メタデータ） (2021-03-08T15:51:03Z)
Towards Creating a Deployable Grasp Type Probability Estimator for a Prosthetic Hand [11.008123712007402]
InceptionV3は0.95角類似度で最高精度を達成し、1.4 MobileNetV2は0.93で動作量は20%である。我々の研究は、機械学習とコンピュータビジョンによるEMGインテント推論を物理的状態の確率で拡張することを可能にする。
論文参考訳（メタデータ） (2021-01-13T21:39:41Z)
Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。