論文の概要: Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry
- arxiv url: http://arxiv.org/abs/2108.07777v1
- Date: Tue, 17 Aug 2021 17:31:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:15:00.351084
- Title: Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry
- Title(参考訳): 多視点形状を用いた自己教師付き3次元ポーズ推定
- Authors: Arij Bouazizi, Julian Wiederer, Ulrich Kressel and Vasileios
Belagiannis
- Abstract要約: 本稿では,複数視点カメラシステムに基づく1人の人物の3次元ポーズ推定のための自己教師付き学習アルゴリズムを提案する。
そこで本研究では,2次元・3次元の立体ポーズが不要な4自由度関数学習アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 2.7541825072548805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a self-supervised learning algorithm for 3D human pose estimation
of a single person based on a multiple-view camera system and 2D body pose
estimates for each view. To train our model, represented by a deep neural
network, we propose a four-loss function learning algorithm, which does not
require any 2D or 3D body pose ground-truth. The proposed loss functions make
use of the multiple-view geometry to reconstruct 3D body pose estimates and
impose body pose constraints across the camera views. Our approach utilizes all
available camera views during training, while the inference is single-view. In
our evaluations, we show promising performance on Human3.6M and HumanEva
benchmarks, while we also present a generalization study on MPI-INF-3DHP
dataset, as well as several ablation results. Overall, we outperform all
self-supervised learning methods and reach comparable results to supervised and
weakly-supervised learning approaches. Our code and models are publicly
available
- Abstract(参考訳): 本稿では,マルチビューカメラシステムと2次元ボディポーズ推定に基づく1人の3次元人物ポーズ推定のための自己教師付き学習アルゴリズムを提案する。
深層ニューラルネットワークで表現されたモデルのトレーニングを行うため,2Dや3Dのボディポーズをグラウンドトルースとして必要としない4つのロス関数学習アルゴリズムを提案する。
提案する損失関数は,多視点形状を用いて3次元物体のポーズ推定を再構成し,カメラビュー全体に対してボディポーズ制約を課す。
我々のアプローチでは、トレーニング中に利用可能なカメラビューをすべて活用し、推論は単一ビューである。
評価では,Human3.6MベンチマークとHumanEvaベンチマークで有望な性能を示すとともに,MPI-INF-3DHPデータセットの一般化と,いくつかのアブレーション結果を示す。
全体として、教師付き学習手法を全て上回り、教師付きおよび弱教師付き学習アプローチに匹敵する結果を得る。
私たちのコードとモデルは公開されています
関連論文リスト
- Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。
カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
論文 参考訳(メタデータ) (2024-07-05T09:43:05Z) - Self-learning Canonical Space for Multi-view 3D Human Pose Estimation [57.969696744428475]
マルチビュー3次元人間のポーズ推定は、自然に単一ビューのポーズ推定よりも優れている。
これらの情報の正確な注釈を得るのは難しい。
完全自己管理型多視点アグリゲーションネットワーク(CMANet)を提案する。
CMANetは、大規模で質的な分析において最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2024-03-19T04:54:59Z) - Self-supervised 3D Human Pose Estimation from a Single Image [1.0878040851638]
本研究では,1枚の画像から3次元人体ポーズを予測する自己教師型手法を提案する。
予測ネットワークは、典型的なポーズの人物と、未ペアの2Dポーズのセットを描写した未ラベル画像のデータセットから訓練される。
論文 参考訳(メタデータ) (2023-04-05T10:26:21Z) - Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。
我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。
提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2021-10-14T17:40:45Z) - VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the
Wild [98.69191256693703]
本稿では,VoxelTrackを用いて,多人数の3次元ポーズ推定と,広義のベースラインで分離された少数のカメラからの追跡を行う。
マルチブランチネットワークを使用して、環境中のすべての人に3Dポーズと再識別機能(Re-ID)を共同で推定する。
これは、Shelf、Campus、CMU Panopticの3つの公開データセットに対して、最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2021-08-05T08:35:44Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - From Image Collections to Point Clouds with Self-supervised Shape and
Pose Networks [53.71440550507745]
2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。
本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。
我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
論文 参考訳(メタデータ) (2020-05-05T04:25:16Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Multi-Person Absolute 3D Human Pose Estimation with Weak Depth
Supervision [0.0]
弱教師付きでRGB-D画像を追加してトレーニングできるネットワークを導入する。
我々のアルゴリズムは、単眼で、多人、絶対的なポーズ推定器である。
アルゴリズムを複数のベンチマークで評価し,一貫した誤差率の向上を示した。
論文 参考訳(メタデータ) (2020-04-08T13:29:22Z) - Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the
Wild [101.70320427145388]
本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。
提案手法を2つの大規模データセット上で評価する。
論文 参考訳(メタデータ) (2020-03-17T08:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。