論文の概要: SelfPose3d: Self-Supervised Multi-Person Multi-View 3d Pose Estimation
- arxiv url: http://arxiv.org/abs/2404.02041v1
- Date: Tue, 2 Apr 2024 15:34:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 15:49:31.939718
- Title: SelfPose3d: Self-Supervised Multi-Person Multi-View 3d Pose Estimation
- Title（参考訳）: SelfPose3d: 自己監督型マルチパーソン型マルチパーソン3次元ポーズ推定
- Authors: Vinkle Srivastav, Keqi Chen, Nicolas Padoy,
- Abstract要約: 複数のカメラビューから複数の人の3dポーズを推定する自己教師型アプローチであるSelfPose3dを提案する。
現在の最先端の完全教師付き手法とは異なり、我々の手法は2次元または3次元の地平線ポーズを必要としない。
Panoptic、Shelf、Campusを含む3つの公開ベンチマークデータセットの実験と分析は、我々のアプローチの有効性を示している。
- 参考スコア（独自算出の注目度）: 2.929565541219051
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a new self-supervised approach, SelfPose3d, for estimating 3d poses of multiple persons from multiple camera views. Unlike current state-of-the-art fully-supervised methods, our approach does not require any 2d or 3d ground-truth poses and uses only the multi-view input images from a calibrated camera setup and 2d pseudo poses generated from an off-the-shelf 2d human pose estimator. We propose two self-supervised learning objectives: self-supervised person localization in 3d space and self-supervised 3d pose estimation. We achieve self-supervised 3d person localization by training the model on synthetically generated 3d points, serving as 3d person root positions, and on the projected root-heatmaps in all the views. We then model the 3d poses of all the localized persons with a bottleneck representation, map them onto all views obtaining 2d joints, and render them using 2d Gaussian heatmaps in an end-to-end differentiable manner. Afterwards, we use the corresponding 2d joints and heatmaps from the pseudo 2d poses for learning. To alleviate the intrinsic inaccuracy of the pseudo labels, we propose an adaptive supervision attention mechanism to guide the self-supervision. Our experiments and analysis on three public benchmark datasets, including Panoptic, Shelf, and Campus, show the effectiveness of our approach, which is comparable to fully-supervised methods. Code is available at \url{https://github.com/CAMMA-public/SelfPose3D}
- Abstract（参考訳）: 複数のカメラビューから複数の人の3dポーズを推定する自己教師型アプローチであるSelfPose3dを提案する。
現在の最先端のフル教師方式とは異なり、我々のアプローチでは2dまたは3dの地平線ポーズを一切必要とせず、キャリブレーションされたカメラ設定とオフ・ザ・シェルフ2d人間のポーズ推定器から生成された2d擬似ポーズから得られるマルチビュー入力画像のみを使用する。
本研究では,3次元空間における自己教師型人物位置推定と3次元ポーズ推定という2つの自己教師型学習目標を提案する。
我々は,合成した3d点のモデルを学習し,3d人物のルート位置,および全ての視点で投影されたルート・ヒートマップとして機能させることにより,自己監督型3d人物位置決めを実現する。
次に、ボトルネック表現を持つすべての局所的人物の3dポーズをモデル化し、それらを2dジョイントを得るすべてのビューにマッピングし、2dガウス熱マップをエンドツーエンドの微分可能な方法でレンダリングする。
その後、擬似2dポーズから対応する2d関節とヒートマップを学習に用いる。
擬似ラベルの内在的不正確性を軽減するため,自己監督を導くための適応型監視注意機構を提案する。
Panoptic、Shelf、Campusを含む3つの公開ベンチマークデータセットの実験と分析は、完全に教師された手法に匹敵するアプローチの有効性を示している。
コードは \url{https://github.com/CAMMA-public/SelfPose3D} で公開されている。
関連論文リスト
- Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone [4.648549457266638]
本研究は,教師なし多人数2D-3Dポーズ推定の実現可能性について検討した最初の研究の1つである。
本手法では,各被験者の2次元ポーズを3次元に独立に持ち上げ,それらを共有3次元座標系で組み合わせる。
これにより、ポーズの正確な3D再構成を検索することができる。
論文 参考訳（メタデータ） (2023-09-26T11:42:56Z) - PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and
Hallucination under Self-supervision [102.48681650013698]
既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。
そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。
これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
論文 参考訳（メタデータ） (2022-03-29T14:45:53Z) - Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。
我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。
提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2021-10-14T17:40:45Z) - Learning Realistic Human Reposing using Cyclic Self-Supervision with 3D
Shape, Pose, and Appearance Consistency [55.94908688207493]
画像品質のギャップを教師付き手法で埋める自己教師型フレームワークSPICEを提案する。
自己超越を可能にする重要な洞察は、様々な方法で人体に関する3D情報を活用することである。
SPICEはDeepFashionデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-10-11T17:48:50Z) - Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry [2.7541825072548805]
本稿では,複数視点カメラシステムに基づく1人の人物の3次元ポーズ推定のための自己教師付き学習アルゴリズムを提案する。
そこで本研究では,2次元・3次元の立体ポーズが不要な4自由度関数学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-08-17T17:31:24Z) - VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the
Wild [98.69191256693703]
本稿では,VoxelTrackを用いて,多人数の3次元ポーズ推定と,広義のベースラインで分離された少数のカメラからの追跡を行う。
マルチブランチネットワークを使用して、環境中のすべての人に3Dポーズと再識別機能(Re-ID)を共同で推定する。
これは、Shelf、Campus、CMU Panopticの3つの公開データセットに対して、最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2021-08-05T08:35:44Z) - TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation
from Video [23.00696619207748]
ビデオから3D人間のポーズを推定することは難しい問題です。
3Dヒューマンポーズアノテーションの欠如は、教師付きトレーニングと、見えないデータセットへの一般化の大きな障害です。
3dアノテーションやキャリブレーションカメラを必要としない弱い教師付きトレーニングスキームを提案する。
論文 参考訳（メタデータ） (2021-05-14T00:46:48Z) - SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。
このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
論文 参考訳（メタデータ） (2020-08-26T09:56:07Z) - Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。
我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。
ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
論文 参考訳（メタデータ） (2020-08-04T07:54:25Z) - From Image Collections to Point Clouds with Self-supervised Shape and
Pose Networks [53.71440550507745]
2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。
本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。
我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
論文 参考訳（メタデータ） (2020-05-05T04:25:16Z) - Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A
Geometric Approach [76.10879433430466]
多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。
まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。
単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
論文 参考訳（メタデータ） (2020-03-25T00:26:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。