論文の概要: Real-Time Human Pose Estimation on a Smart Walker using Convolutional
Neural Networks
- arxiv url: http://arxiv.org/abs/2106.14739v1
- Date: Mon, 28 Jun 2021 14:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 17:49:13.256275
- Title: Real-Time Human Pose Estimation on a Smart Walker using Convolutional
Neural Networks
- Title(参考訳): 畳み込みニューラルネットワークを用いたスマートウォーカーのリアルタイムポーズ推定
- Authors: Manuel Palermo, Sara Moccia, Lucia Migliorelli, Emanuele Frontoni,
Cristina P. Santos
- Abstract要約: スマートウォーカのコンテキストにおける患者モニタリングとデータ駆動型ヒューマン・イン・ザ・ループ制御に対する新しいアプローチを提案する。
完全かつコンパクトなボディ表現を、リアルタイムおよび安価なセンサーから抽出することができる。
有望な結果にもかかわらず、現実のシナリオにおけるリハビリテーションツールとしてのパフォーマンスを評価するために、障害のあるユーザにより多くのデータを収集する必要がある。
- 参考スコア(独自算出の注目度): 4.076099054649463
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Rehabilitation is important to improve quality of life for mobility-impaired
patients. Smart walkers are a commonly used solution that should embed
automatic and objective tools for data-driven human-in-the-loop control and
monitoring. However, present solutions focus on extracting few specific metrics
from dedicated sensors with no unified full-body approach. We investigate a
general, real-time, full-body pose estimation framework based on two RGB+D
camera streams with non-overlapping views mounted on a smart walker equipment
used in rehabilitation. Human keypoint estimation is performed using a
two-stage neural network framework. The 2D-Stage implements a detection module
that locates body keypoints in the 2D image frames. The 3D-Stage implements a
regression module that lifts and relates the detected keypoints in both cameras
to the 3D space relative to the walker. Model predictions are low-pass filtered
to improve temporal consistency. A custom acquisition method was used to obtain
a dataset, with 14 healthy subjects, used for training and evaluating the
proposed framework offline, which was then deployed on the real walker
equipment. An overall keypoint detection error of 3.73 pixels for the 2D-Stage
and 44.05mm for the 3D-Stage were reported, with an inference time of 26.6ms
when deployed on the constrained hardware of the walker. We present a novel
approach to patient monitoring and data-driven human-in-the-loop control in the
context of smart walkers. It is able to extract a complete and compact body
representation in real-time and from inexpensive sensors, serving as a common
base for downstream metrics extraction solutions, and Human-Robot interaction
applications. Despite promising results, more data should be collected on users
with impairments, to assess its performance as a rehabilitation tool in
real-world scenarios.
- Abstract(参考訳): リハビリテーションは移動障害患者の生活の質を改善するために重要である。
スマートウォーカーは、データ駆動型制御と監視のための自動的および客観的なツールを埋め込むために一般的に使用されるソリューションである。
しかし,本ソリューションでは,全身体的アプローチを伴わない専用センサからの特定指標の抽出に焦点をあてている。
本研究では,リハビリテーションに使用されるスマートウォーカー機器に非オーバーラップビューを装着した2つのrgb+dカメラストリームに基づく,リアルタイムかつフルボディなポーズ推定フレームワークについて検討する。
人間のキーポイント推定は2段階ニューラルネットワークフレームワークを用いて行われる。
2D-Stageは2D画像フレーム内のボディキーポイントを検出するモジュールを実装している。
3D-Stageは、両方のカメラで検出されたキーポイントを歩行者に対して3D空間に持ち上げて関連付けるレグレッションモジュールを実装している。
モデル予測は時間的整合性を改善するために低パスフィルタされる。
提案したフレームワークをオフラインでトレーニングし,評価するために,14名の健常被験者からなるデータセットを取得するために,独自の取得手法が用いられた。
2D-Stageの3.73ピクセルと3D-Stageの44.05mmの全体的なキーポイント検出誤差が報告され、ウォーカの制約されたハードウェアに展開すると26.6msの推論時間が記録された。
スマートウォーカのコンテキストにおける患者モニタリングとデータ駆動型ヒューマン・ザ・ループ制御に対する新しいアプローチを提案する。
リアルタイムおよび安価なセンサから、完全かつコンパクトなボディ表現を抽出でき、下流のメトリクス抽出ソリューションと人間とロボットのインタラクションアプリケーションのための共通基盤として機能する。
有望な結果にもかかわらず、現実のシナリオにおけるリハビリツールとしてのパフォーマンスを評価するために、障害のあるユーザにより多くのデータを収集する必要がある。
関連論文リスト
- Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - Auxiliary Tasks Benefit 3D Skeleton-based Human Motion Prediction [106.06256351200068]
本稿では,補助的なタスクを伴うモデル学習フレームワークを提案する。
補助作業では、部分体関節の座標はマスキングまたはノイズ付加によって損なわれる。
本稿では,不完全かつ破損した動作データを処理できる新しい補助適応変換器を提案する。
論文 参考訳(メタデータ) (2023-08-17T12:26:11Z) - Weakly Supervised Multi-Modal 3D Human Body Pose Estimation for
Autonomous Driving [0.5735035463793008]
3次元の人間のポーズ推定は、自動運転車(AV)が重要な道路シナリオにおいて情報的決定を行い、積極的に対応できるようにするために不可欠である。
カメラとLiDARデータを高レベルなセンサーで融合させることにより,AV環境下での3次元HPEの簡易かつ効率的な制御手法を提案する。
当社のアプローチは、弱教師付き環境でのオープンデータセットにおいて、最先端の結果を最大13%$simで上回ります。
論文 参考訳(メタデータ) (2023-07-27T14:28:50Z) - Deep learning-based approaches for human motion decoding in smart
walkers for rehabilitation [3.8791511769387634]
スマートウォーカーは、できるだけ早く人間の動きとニーズをデコードできなければならない。
現在の歩行者はウェアラブルや組込みセンサーの情報を用いて動きの意図を復号する。
早期の動作認識・検出問題として人間の動作復号化に対処する非接触アプローチを提案する。
論文 参考訳(メタデータ) (2023-01-13T14:29:44Z) - A Flexible-Frame-Rate Vision-Aided Inertial Object Tracking System for
Mobile Devices [3.4836209951879957]
本稿では,モバイルデバイス用フレキシブルフレームレートオブジェクトポーズ推定とトラッキングシステムを提案する。
高速トラッキングのためにクライアント側で慣性計測ユニット(IMU)ポーズ伝搬を行い、サーバ側でRGB画像ベースの3Dポーズ推定を行う。
我々のシステムは120FPSまでのフレキシブルフレームレートをサポートし、ローエンドデバイス上での高精度かつリアルタイムなトラッキングを保証する。
論文 参考訳(メタデータ) (2022-10-22T15:26:50Z) - Robot Self-Calibration Using Actuated 3D Sensors [0.0]
本稿では,ロボットのキャリブレーションをオフラインのSLAM問題として扱う。
これにより、任意の眼深度センサのみを用いてロボットのキャリブレーションを行うことができる。
各種の3Dセンサーを装着した実ロボットに対して,システムの詳細評価を行った。
論文 参考訳(メタデータ) (2022-06-07T16:35:08Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Real-Time Multi-View 3D Human Pose Estimation using Semantic Feedback to
Smart Edge Sensors [28.502280038100167]
各カメラビューに対する2次元関節検出は、専用の埋め込み推論プロセッサ上で局所的に行われる。
3次元ポーズは、三角法と体モデルに基づいて、中央のバックエンドにある2次元関節から回収される。
パイプライン全体がリアルタイム操作が可能なのです。
論文 参考訳(メタデータ) (2021-06-28T14:00:00Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳(メタデータ) (2020-12-15T03:03:38Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳(メタデータ) (2020-07-28T07:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。