論文の概要: Markerless 3D human pose tracking through multiple cameras and AI:
Enabling high accuracy, robustness, and real-time performance
- arxiv url: http://arxiv.org/abs/2303.18119v1
- Date: Fri, 31 Mar 2023 15:06:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 13:37:36.635676
- Title: Markerless 3D human pose tracking through multiple cameras and AI:
Enabling high accuracy, robustness, and real-time performance
- Title(参考訳): マルチカメラとAIによるマーカレス3Dポーズトラッキング:高精度、堅牢性、リアルタイムパフォーマンスの実現
- Authors: Luca Fortini (1,2), Mattia Leonori (1), Juan M. Gandarias (1), Elena
de Momi (2), Arash Ajoudani (1) ((1) Human-Robot Interfaces and Interaction,
Istituto Italiano di Tecnologia, Genoa, Italy (2) Department of Electronics,
Information and Bioengineering, Politecnico di Milano, Milan, Italy)
- Abstract要約: リアルタイムに3Dの人間の動きを追跡することは、多くの分野にわたる多くのアプリケーションにとって不可欠である。
人工知能の最近の進歩はマーカーレスソリューションを可能にしている。
本稿では,マルチカメラビューと2次元AIに基づくポーズ推定手法を組み合わせたマーカーレスフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tracking 3D human motion in real-time is crucial for numerous applications
across many fields. Traditional approaches involve attaching artificial
fiducial objects or sensors to the body, limiting their usability and
comfort-of-use and consequently narrowing their application fields. Recent
advances in Artificial Intelligence (AI) have allowed for markerless solutions.
However, most of these methods operate in 2D, while those providing 3D
solutions compromise accuracy and real-time performance. To address this
challenge and unlock the potential of visual pose estimation methods in
real-world scenarios, we propose a markerless framework that combines
multi-camera views and 2D AI-based pose estimation methods to track 3D human
motion. Our approach integrates a Weighted Least Square (WLS) algorithm that
computes 3D human motion from multiple 2D pose estimations provided by an
AI-driven method. The method is integrated within the Open-VICO framework
allowing simulation and real-world execution. Several experiments have been
conducted, which have shown high accuracy and real-time performance,
demonstrating the high level of readiness for real-world applications and the
potential to revolutionize human motion capture.
- Abstract(参考訳): リアルタイムに3Dの動きを追跡することは、多くの分野にわたる多くのアプリケーションにとって不可欠である。
従来のアプローチでは、人工的なフィデューシャルオブジェクトやセンサーを体に取り付け、使用性と使いやすさを制限し、アプリケーションフィールドを狭める。
人工知能(AI)の最近の進歩は、マーカーレスソリューションを可能にしている。
しかし、これらの手法のほとんどは2Dで動作し、3Dソリューションは精度とリアルタイムのパフォーマンスを損なう。
この課題に対処し,実世界シナリオにおける視覚的ポーズ推定手法の可能性を解き放つために,マルチカメラビューと2次元aiベースのポーズ推定手法を組み合わせたマーカーレスフレームワークを提案する。
提案手法は,AI駆動型手法によって提供される複数の2次元ポーズ推定から3次元人間の動きを計算する,重み付き最小角(WLS)アルゴリズムを統合する。
この方法は、シミュレーションと実世界の実行を可能にするOpen-VICOフレームワークに統合されている。
いくつかの実験が行われ、高い精度とリアルタイム性能を示し、現実世界の応用への高い準備と人間のモーションキャプチャーに革命をもたらす可能性を実証している。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [48.02311923992795]
WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。
SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。
複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
論文 参考訳(メタデータ) (2023-12-12T18:57:46Z) - HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for
Autonomous Driving [95.42203932627102]
3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。
提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。
具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
論文 参考訳(メタデータ) (2022-12-15T11:15:14Z) - DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion
Probabilistic Model [25.223801390996435]
本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。
我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。
我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
論文 参考訳(メタデータ) (2022-12-06T07:22:20Z) - HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense
Contact Guidance [82.09463058198546]
シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。
シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
論文 参考訳(メタデータ) (2022-05-11T17:59:31Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z) - Seeing by haptic glance: reinforcement learning-based 3D object
Recognition [31.80213713136647]
対象物と指の間の触覚接触数に制限があり、対象物を見ることなく3D認識を行うことができる。
この能力は認知神経科学における「触覚的視線」と定義される。
既存の3D認識モデルのほとんどは、高密度な3Dデータに基づいて開発された。
触覚探索によって3Dデータを収集するためにロボットが使用される多くの実生活のユースケースでは、限られた数の3Dポイントしか収集できない。
アクティブに収集された3Dで客観的な3D認識と同時に触覚探査手順を最適化する新しい強化学習ベースのフレームワークが提案される。
論文 参考訳(メタデータ) (2021-02-15T15:38:22Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-17T05:11:38Z) - Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated
Convolution [34.301501457959056]
本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。
また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。
提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
論文 参考訳(メタデータ) (2020-10-31T04:35:24Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。