論文の概要: Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control

• arxiv url: http://arxiv.org/abs/2104.03893v5
• Date: Tue, 27 Feb 2024 22:49:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:40:47.424345
• Title: Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control
• Title（参考訳）: 人工手指制御におけるEMGのマルチモーダル融合と人間のグラフインテント推論のためのビジョン
• Authors: Mehrshad Zandigohar, Mo Han, Mohammadreza Sharif, Sezen Yagmur Gunay, Mariusz P. Furmanek, Mathew Yarossi, Paolo Bonato, Cagdas Onal, Taskin Padir, Deniz Erdogmus, Gunar Schirner
• Abstract要約: 前腕の視線映像,視線,筋電図を用いた意図推定のためのベイズ的エビデンス融合フレームワークを提案する。 我々は、手が物体に近づくと、時間関数として個人と融合性能を解析し、それを把握する。
• 参考スコア（独自算出の注目度）: 11.400385533782204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective: For transradial amputees, robotic prosthetic hands promise to regain the capability to perform daily living activities. Current control methods based on physiological signals such as electromyography (EMG) are prone to yielding poor inference outcomes due to motion artifacts, muscle fatigue, and many more. Vision sensors are a major source of information about the environment state and can play a vital role in inferring feasible and intended gestures. However, visual evidence is also susceptible to its own artifacts, most often due to object occlusion, lighting changes, etc. Multimodal evidence fusion using physiological and vision sensor measurements is a natural approach due to the complementary strengths of these modalities. Methods: In this paper, we present a Bayesian evidence fusion framework for grasp intent inference using eye-view video, eye-gaze, and EMG from the forearm processed by neural network models. We analyze individual and fused performance as a function of time as the hand approaches the object to grasp it. For this purpose, we have also developed novel data processing and augmentation techniques to train neural network components. Results: Our results indicate that, on average, fusion improves the instantaneous upcoming grasp type classification accuracy while in the reaching phase by 13.66% and 14.8%, relative to EMG (81.64% non-fused) and visual evidence (80.5% non-fused) individually, resulting in an overall fusion accuracy of 95.3%. Conclusion: Our experimental data analyses demonstrate that EMG and visual evidence show complementary strengths, and as a consequence, fusion of multimodal evidence can outperform each individual evidence modality at any given time.
• Abstract（参考訳）: 目的: トランスラジアル・アンプテアの場合、ロボット義手は日常生活活動を行う能力を取り戻すことを約束する。 筋電図(EMG)などの生理的信号に基づく現在の制御手法は、運動アーチファクトや筋肉疲労などによる推論結果の低下を引き起こす傾向にある。 視覚センサーは環境状態に関する主要な情報源であり、実現可能で意図されたジェスチャーを推測する上で重要な役割を果たす。 しかし、視覚証拠は、しばしば物体の閉塞や照明の変化などにより、自身の人工物にも影響を受けやすい。 生理的および視覚的センサ計測を用いたマルチモーダルエビデンス融合は、これらのモダリティの相補的な強度による自然なアプローチである。 方法:本論文では,ニューラルネットワークモデルにより処理された前腕の視線映像,眼球運動,筋電図を用いた意図推定のためのベイズ証拠融合フレームワークを提案する。 我々は、手が物体に近づくと、時間関数として個人と融合のパフォーマンスを分析する。 この目的のために、ニューラルネットワークコンポーネントをトレーニングするための新しいデータ処理および拡張技術を開発した。 結果:本研究の結果から,核融合は,emg (81.64%非融合) と視覚的証拠 (80.5%非融合) に対して, 到達段階では13.66%, 14.8%の瞬間的把握型分類精度が向上し, 総合的核融合精度は95.3%となった。 結論: 実験データ解析の結果,emgと視覚的なエビデンスは相補的な強みを示し,その結果,マルチモーダルなエビデンスの融合は,任意の時点において個々のエビデンスモダリティを上回る可能性がある。

関連論文リスト

• Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
  視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。 具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-08T04:53:55Z)
• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• Active inference and deep generative modeling for cognitive ultrasound [20.383444113659476]
  解剖学的環境と相互に相互作用する情報探索エージェントとして,US画像システムを再キャストできることが示唆された。 このようなエージェントは、送信受信シーケンスを自律的に適応して、画像を完全にパーソナライズし、情報取得をその場で積極的に最大化する。 次に,不確実性を積極的に低減し,一連の実験において診断値を最大化する機構をシステムに装備する。
  論文  参考訳（メタデータ） (2024-10-17T08:09:14Z)
• Remote Bio-Sensing: Open Source Benchmark Framework for Fair Evaluation of rPPG [2.82697733014759]
  r(pg photoplethysmography)は、カメラで捉えたヘモグロビンの光吸収特性を用いてBVP(Blood Volume Pulse)を測定し、分析する技術である。 本研究は,多種多様なデータセットを対象とした様々なrベンチマーク手法の評価を行い,妥当性評価と比較を行うためのフレームワークを提供することを目的とする。
  論文  参考訳（メタデータ） (2023-07-24T09:35:47Z)
• A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications [56.458448869572294]
  脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。 エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。 我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
  論文  参考訳（メタデータ） (2022-06-17T10:17:24Z)
• Cross-Modality Neuroimage Synthesis: A Survey [71.27193056354741]
  マルチモダリティイメージングは、疾患の診断を改善し、解剖学的特性を持つ組織における相違を明らかにする。 完全な整列とペアの多モードニューロイメージングデータの存在は、脳研究においてその効果を証明している。 もう一つの解決策は、教師なしまたは弱教師なしの学習方法を探究し、欠落した神経画像データを合成することである。
  論文  参考訳（メタデータ） (2022-02-14T19:29:08Z)
• Continuous Decoding of Daily-Life Hand Movements from Forearm Muscle Activity for Enhanced Myoelectric Control of Hand Prostheses [78.120734120667]
  本研究では,前腕のEMG活性をハンドキネマティクスに連続的にマップする,長期記憶(LSTM)ネットワークに基づく新しい手法を提案する。 私たちの研究は、この困難なデータセットを使用するハンドキネマティクスの予測に関する最初の報告です。 提案手法は, 人工手指の複数のDOFの独立的, 比例的アクティベーションのための制御信号の生成に適していることが示唆された。
  論文  参考訳（メタデータ） (2021-04-29T00:11:32Z)
• From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels [6.772076545800592]
  Plackett-Luceモデルに基づいた新しい確率分類器を構築し、把握上の確率分布を予測する。 提案モデルは,最もポピュラーで生産性の高い畳み込みニューラルネットワークフレームワークに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-03-08T16:12:38Z)
• HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent Inference in Prosthetic Hands [3.7886097009023376]
  未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。 マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。 環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
  論文  参考訳（メタデータ） (2021-03-08T15:51:03Z)
• Towards Creating a Deployable Grasp Type Probability Estimator for a Prosthetic Hand [11.008123712007402]
  InceptionV3は0.95角類似度で最高精度を達成し、1.4 MobileNetV2は0.93で動作量は20%である。 我々の研究は、機械学習とコンピュータビジョンによるEMGインテント推論を物理的状態の確率で拡張することを可能にする。
  論文  参考訳（メタデータ） (2021-01-13T21:39:41Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。