Fugu-MT 論文翻訳(概要): Recognizing Hand Use and Hand Role at Home After Stroke from Egocentric Video

論文の概要: Recognizing Hand Use and Hand Role at Home After Stroke from Egocentric Video

arxiv url: http://arxiv.org/abs/2207.08920v2
Date: Thu, 21 Jul 2022 16:02:22 GMT
ステータス: 処理完了
システム内更新日: 2022-07-22 10:29:09.689747
Title: Recognizing Hand Use and Hand Role at Home After Stroke from Egocentric Video
Title（参考訳）: エゴセントリックビデオのストローク後の家庭における手と手の役割の認識
Authors: Meng-Fen Tsai, Rosalie H. Wang, and Jo\'se Zariffa
Abstract要約: エゴセントリックなビデオは、コンテキスト内で手と物体のインタラクションをキャプチャし、より影響のある手の使用方法を示す。脳卒中後の自宅で録画された自我中心のビデオから、人工知能ベースのコンピュータビジョンを用いて、手の使用と手の役割を分類する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Introduction: Hand function is a central determinant of independence after stroke. Measuring hand use in the home environment is necessary to evaluate the impact of new interventions, and calls for novel wearable technologies. Egocentric video can capture hand-object interactions in context, as well as show how more-affected hands are used during bilateral tasks (for stabilization or manipulation). Automated methods are required to extract this information. Objective: To use artificial intelligence-based computer vision to classify hand use and hand role from egocentric videos recorded at home after stroke. Methods: Twenty-one stroke survivors participated in the study. A random forest classifier, a SlowFast neural network, and the Hand Object Detector neural network were applied to identify hand use and hand role at home. Leave-One-Subject-Out-Cross-Validation (LOSOCV) was used to evaluate the performance of the three models. Between-group differences of the models were calculated based on the Mathews correlation coefficient (MCC). Results: For hand use detection, the Hand Object Detector had significantly higher performance than the other models. The macro average MCCs using this model in the LOSOCV were 0.50 +- 0.23 for the more-affected hands and 0.58 +- 0.18 for the less-affected hands. Hand role classification had macro average MCCs in the LOSOCV that were close to zero for all models. Conclusion: Using egocentric video to capture the hand use of stroke survivors at home is feasible. Pose estimation to track finger movements may be beneficial to classifying hand roles in the future.
Abstract（参考訳）: はじめに、手機能は脳卒中後の独立の中枢決定因子である。新しい介入の影響を評価し,新しいウェアラブル技術を求めるためには,家庭環境における手作業の計測が必要である。 egocentric videoは、手とオブジェクトのインタラクションをコンテキストでキャプチャし、双方向のタスク(安定化や操作のために)において、より多くの影響を受ける手がどのように使われているかを示すことができる。この情報を抽出するには自動的な方法が必要となる。目的: 脳卒中後の家庭で記録された自発的映像から,人工知能を用いたコンピュータビジョンを用いて手使いと手の役割を分類すること。方法:21名の脳卒中患者が研究に参加した。ランダム森林分類器, SlowFast ニューラルネットワーク, Hand Object Detector ニューラルネットワークを用いて, 家庭における手指の使用状況と手指の役割を同定した。 LOSOCV (Leave-One-Subject-Out-Cross-Validation) を用いて3モデルの性能評価を行った。モデルの群間差はmathews相関係数(mcc)に基づいて算出した。結果: ハンドオブジェクト検出では, ハンドオブジェクト検出器は他のモデルよりも大幅に高い性能を示した。このモデルを用いたLOSOCVのマクロ平均MCCは、より影響の大きい手は0.50+-0.23、より影響の少ない手は0.58+-0.18であった。ハンドロール分類では,LOSOCVのマクロ平均MCCは全モデルで0に近かった。結論: エゴセントリックビデオを用いて家庭での脳卒中生存者の手の使用を捉えることは可能である。指の動きを追跡するポス推定は、将来手指の役割を分類するのに有益である。

関連論文リスト

A Personalized Video-Based Hand Taxonomy: Application for Individuals with Spinal Cord Injury [14.062874246796687]
脊髄損傷(SCI)は手機能に障害があり、独立性を低下させる。本研究の目的は,セマンティッククラスタリングを用いて,エゴセントリックビデオにおける支配的な手の動きを自動的に識別することである。姿勢と外観データを統合した深層学習モデルを用いて、パーソナライズされた手分類を作成した。
論文参考訳（メタデータ） (2024-03-26T20:30:55Z)
HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文参考訳（メタデータ） (2023-12-27T22:35:33Z)
Semantics2Hands: Transferring Hand Motion Semantics between Avatars [34.39785320233128]
手の動きの小さなエラーでさえ、ユーザエクスペリエンスに大きな影響を与えます。本稿では,手の動きのセマンティクスを符号化した新しい解剖学的意味行列(ASM)を提案する。我々は、MixamoとInterHand2.6Mデータセットの半教師付き学習戦略を用いてASMを訓練する。
論文参考訳（メタデータ） (2023-08-11T03:07:31Z)
Simultaneous Estimation of Hand Configurations and Finger Joint Angles using Forearm Ultrasound [8.753262480814493]
前腕超音波画像は、手の動きを理解するのに使える筋骨格の可視化を提供する。我々は,MPP関節角度を予測するためのCNNベースのディープラーニングパイプラインを提案する。ヒューマン・マシン・インタフェースのリアルタイム制御を目的としたMPP関節角度と手構成の両方を推定するための低遅延パイプラインが提案されている。
論文参考訳（メタデータ） (2022-11-29T02:06:19Z)
Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
論文参考訳（メタデータ） (2022-11-16T10:01:33Z)
Palm Vein Recognition via Multi-task Loss Function and Attention Layer [3.265773263570237]
本稿では,VGG-16伝達学習の融合注意機構に基づく畳み込みニューラルネットワークを,赤外線ヤシ静脈データセットの特徴抽出ネットワークとして利用する。モデルのロバスト性を検証するため、異なるソースからのデータセットに対していくつかの実験を行った。同時に、マッチングは高効率であり、ヤシ静脈対あたり平均0.13秒かかる。
論文参考訳（メタデータ） (2022-11-11T02:32:49Z)
Measuring hand use in the home after cervical spinal cord injury using egocentric video [2.1064122195521926]
エゴセントリックビデオは、コミュニティで四肢麻痺を患っている人の手機能モニタリングの潜在的な解決策として登場した。四肢麻痺児の在宅における手指使用量を測定するウェアラブル・ビジョン・ベース・システムの開発と評価を行った。
論文参考訳（メタデータ） (2022-03-31T12:43:23Z)
Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
論文参考訳（メタデータ） (2021-11-01T08:24:10Z)
A Skeleton-Driven Neural Occupancy Representation for Articulated Hands [49.956892429789775]
Hand ArticuLated Occupancy (HALO) は、3Dキーポイントと神経暗黙の面の利点を橋渡しする手話の表現である。本研究では,3次元物体を把握した手の条件生成作業に対するHALOの適用性を示す。
論文参考訳（メタデータ） (2021-09-23T14:35:19Z)
Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文参考訳（メタデータ） (2021-03-06T09:10:03Z)
Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。