論文の概要: Metric-Scale Truncation-Robust Heatmaps for 3D Human Pose Estimation
- arxiv url: http://arxiv.org/abs/2003.02953v1
- Date: Thu, 5 Mar 2020 22:38:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:17:43.602200
- Title: Metric-Scale Truncation-Robust Heatmaps for 3D Human Pose Estimation
- Title（参考訳）: 3次元ポーズ推定のためのmt-robust heatmaps
- Authors: Istv\'an S\'ar\'andi and Timm Linder and Kai O. Arras and Bastian
Leibe
- Abstract要約: 被検体近傍の計量3次元空間で次元が定義される計量スケールトランケーション・ローバスト体積熱マップを提案する。
我々は、モノラルなRGBからその熱マップをエンドツーエンドに推定するために、完全な畳み込みネットワークを訓練する。
提案手法は単純かつ高速であるため,リアルタイムなトップダウンマルチパーソンポーズ推定システムにおいて有用なコンポーネントとなる。
- 参考スコア（独自算出の注目度）: 16.463390330757132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heatmap representations have formed the basis of 2D human pose estimation
systems for many years, but their generalizations for 3D pose have only
recently been considered. This includes 2.5D volumetric heatmaps, whose X and Y
axes correspond to image space and the Z axis to metric depth around the
subject. To obtain metric-scale predictions, these methods must include a
separate, explicit post-processing step to resolve scale ambiguity. Further,
they cannot encode body joint positions outside of the image boundaries,
leading to incomplete pose estimates in case of image truncation. We address
these limitations by proposing metric-scale truncation-robust (MeTRo)
volumetric heatmaps, whose dimensions are defined in metric 3D space near the
subject, instead of being aligned with image space. We train a
fully-convolutional network to estimate such heatmaps from monocular RGB in an
end-to-end manner. This reinterpretation of the heatmap dimensions allows us to
estimate complete metric-scale poses without test-time knowledge of the focal
length or person distance and without relying on anthropometric heuristics in
post-processing. Furthermore, as the image space is decoupled from the heatmap
space, the network can learn to reason about joints beyond the image boundary.
Using ResNet-50 without any additional learned layers, we obtain
state-of-the-art results on the Human3.6M and MPI-INF-3DHP benchmarks. As our
method is simple and fast, it can become a useful component for real-time
top-down multi-person pose estimation systems. We make our code publicly
available to facilitate further research (see
https://vision.rwth-aachen.de/metro-pose3d).
- Abstract（参考訳）: 熱マップ表現は、長年にわたって2次元人間のポーズ推定システムの基礎を形成してきたが、それらの3次元ポーズの一般化は、最近まで考慮されてきた。
これには2.5dの体積熱マップが含まれ、x軸とy軸は画像空間に対応し、z軸は被写体周辺の距離深度に対応する。
計量スケール予測を得るためには、これらの手法はスケールの曖昧さを解決するために別途明示的な後処理ステップを含む必要がある。
さらに、画像境界の外側の体の関節位置を符号化できないため、画像切り離し時に不完全なポーズ推定を行う。
対象物近傍の計量3次元空間で次元が定義される計量スケールトランザベーション・ロバスト(metro)体積ヒートマップを画像空間に整列する代わりに提案することにより,これらの制限に対処する。
我々は、モノラルなRGBからその熱マップをエンドツーエンドに推定するために、完全な畳み込みネットワークを訓練する。
このヒートマップ次元の再解釈により、焦点距離や人距離のテスト時間知識がなく、後処理のヒューリスティックスに依存することなく、完全なメトリックスケールのポーズを推定できる。
さらに、画像空間がヒートマップ空間から切り離されるので、ネットワークは画像境界を超えてジョイントを判断することを学ぶことができる。
ResNet-50を学習層を追加せずに使用し、Human3.6MとMPI-INF-3DHPベンチマークで最先端の結果を得る。
提案手法は単純かつ高速であるため,リアルタイムなトップダウンマルチパーソンポーズ推定システムにおいて有用なコンポーネントとなる。
さらなる研究を促進するためにコードを公開している(https://vision.rwth-aachen.de/metro-pose3dを参照)。
関連論文リスト
- Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences [21.057940424318314]
2つの画像が与えられた場合、画像と画像の対応を確立することで、相対的なカメラのポーズを推定できる。
我々は、3次元カメラ空間における距離対応を予測できるキーポイントマッチングパイプラインであるMicKeyを提案する。
論文 参考訳（メタデータ） (2024-04-09T14:22:50Z) - Metric3D v2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation [74.28509379811084]
Metric3D v2は、ゼロショット距離深さと1枚の画像からの表面正規推定のための幾何学的基礎モデルである。
距離深度推定と表面正規度推定の両方の解を提案する。
本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
論文 参考訳（メタデータ） (2024-03-22T02:30:46Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳（メタデータ） (2022-07-06T08:52:12Z) - Category-Level Metric Scale Object Shape and Pose Estimation [73.92460712829188]
本稿では,測度スケールの形状と1枚のRGB画像からのポーズを共同で推定するフレームワークを提案する。
カテゴリーレベルのオブジェクトのポーズと形状を評価するために,合成と実世界の両方のデータセット上で本手法の有効性を検証した。
論文 参考訳（メタデータ） (2021-09-01T12:16:46Z) - VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the
Wild [98.69191256693703]
本稿では,VoxelTrackを用いて,多人数の3次元ポーズ推定と,広義のベースラインで分離された少数のカメラからの追跡を行う。
マルチブランチネットワークを使用して、環境中のすべての人に3Dポーズと再識別機能(Re-ID)を共同で推定する。
これは、Shelf、Campus、CMU Panopticの3つの公開データセットに対して、最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2021-08-05T08:35:44Z) - SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。
このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
論文 参考訳（メタデータ） (2020-08-26T09:56:07Z) - HDNet: Human Depth Estimation for Multi-Person Camera-Space Localization [83.57863764231655]
本稿では,根の絶対的局所化のためのエンドツーエンドフレームワークであるHuman Depth Estimation Network (HDNet)を提案する。
関節間の特徴伝達に骨格ベースのグラフニューラルネットワーク(GNN)を用いる。
我々は,2つのベンチマークデータセットを用いて,ルートジョイントローカライゼーションとルート相対的な3次元ポーズ推定タスクについて,HDNetの評価を行った。
論文 参考訳（メタデータ） (2020-07-17T12:44:23Z) - MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human
Pose Estimation [16.463390330757132]
画像空間に整列するのではなく,次元がすべてメートル法3次元空間で定義される,メートル法スケール・トランケーション・ロバスト(MeTRo)体積熱マップを提案する。
この熱マップ次元の再解釈により、距離に関するテストタイム知識や骨の長さなどの人文計測に頼らずに、完全な計量スケールのポーズを直接推定することができる。
絶対的なポーズ損失による監督は、正確な非ルート相対的な位置決めには不可欠である。
論文 参考訳（メタデータ） (2020-07-12T11:52:09Z) - Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A
Geometric Approach [76.10879433430466]
多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。
まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。
単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
論文 参考訳（メタデータ） (2020-03-25T00:26:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。