論文の概要: MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body
Reconstruction
- arxiv url: http://arxiv.org/abs/2403.05055v1
- Date: Fri, 8 Mar 2024 05:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:56:06.987884
- Title: MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body
Reconstruction
- Title(参考訳): MUC:ロバストな3D人体再構築のための非校正カメラの混合
- Authors: Yitao Zhu, Sheng Wang, Mengjie Xu, Zixu Zhuang, Zhixin Wang, Kaidong
Wang, Han Zhang, Qian Wang
- Abstract要約: 複数のカメラビューから3次元人体を再構成する手法を提案する。
提案手法は,2つの公開データセット上に人体を再構築する際の優れた性能を示す。
- 参考スコア(独自算出の注目度): 13.500077704418764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiple cameras can provide multi-view video coverage of a person. It is
necessary to fuse multi-view data, e.g., for subsequent behavioral analysis,
while such fusion often relies on calibration of cameras in traditional
solutions. However, it is non-trivial to calibrate multiple cameras. In this
work, we propose a method to reconstruct 3D human body from multiple
uncalibrated camera views. First, we adopt a pre-trained human body encoder to
process each individual camera view, such that human body models and parameters
can be reconstructed for each view. Next, instead of simply averaging models
across views, we train a network to determine the weights of individual views
for their fusion, based on the parameters estimated for joints and hands of
human body as well as camera positions. Further, we turn to the mesh surface of
human body for dynamic fusion, such that facial expression can be seamlessly
integrated into the model of human body. Our method has demonstrated superior
performance in reconstructing human body upon two public datasets. More
importantly, our method can flexibly support ad-hoc deployment of an arbitrary
number of cameras, which has significant potential in related applications. We
will release source code upon acceptance of the paper.
- Abstract(参考訳): 複数のカメラは、人のマルチビュービデオカバレッジを提供することができる。
例えば、その後の行動分析にはマルチビューデータを融合する必要があるが、そのような融合はしばしば従来のソリューションにおけるカメラの校正に依存している。
しかし、複数のカメラのキャリブレーションは自明ではない。
本研究では,複数のカメラビューから3次元人体を再構成する手法を提案する。
まず,事前学習した人体エンコーダを用いて個々のカメラビューを処理し,各ビューに対して人体モデルとパラメータを再構成する。
次に、単に複数のビューにまたがるモデルの平均化ではなく、ネットワークを訓練し、それぞれのビューの融合の重み付けを、人間の関節や手やカメラの位置から推定されるパラメータに基づいて決定する。
さらに,人間の顔の表情を人体モデルにシームレスに統合できるような,ダイナミックフュージョンのための人体のメッシュ面に目を向ける。
提案手法は,2つの公開データセット上に人体を再構築する際の優れた性能を示す。
さらに,本手法は任意の数のカメラのアドホック展開を柔軟にサポートし,関連アプリケーションに有意な可能性を秘めている。
論文が受け入れられ次第、ソースコードをリリースします。
関連論文リスト
- Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [15.975753370100051]
単一のRGB画像からマルチパーソンな3次元メッシュリカバリのための強力なシングルショットモデルであるMulti-HMRを提案する。
SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。
このデータセットをトレーニングに組み込むことで、特に手による予測をさらに強化できることが示される。
論文 参考訳(メタデータ) (2024-02-22T16:05:13Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳(メタデータ) (2023-02-24T18:59:15Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳(メタデータ) (2023-01-12T18:01:28Z) - Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。
本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2021-11-29T16:32:41Z) - SPEC: Seeing People in the Wild with an Estimated Camera [64.85791231401684]
1枚の画像から視点カメラを推定する最初の3DHPS方式であるSPECを紹介する。
我々は、視野、カメラピッチ、入力画像のロールを推定するためにニューラルネットワークを訓練する。
次に、カメラキャリブレーションを画像の特徴に合わせてロールする新しいネットワークをトレーニングし、これらを組み合わせて3Dのボディ形状とポーズを復元する。
論文 参考訳(メタデータ) (2021-10-01T19:05:18Z) - Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry [2.7541825072548805]
本稿では,複数視点カメラシステムに基づく1人の人物の3次元ポーズ推定のための自己教師付き学習アルゴリズムを提案する。
そこで本研究では,2次元・3次元の立体ポーズが不要な4自由度関数学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-17T17:31:24Z) - FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。
エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。
Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
論文 参考訳(メタデータ) (2021-05-05T09:08:12Z) - AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in
the Wild [77.43884383743872]
本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。
我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。
また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
論文 参考訳(メタデータ) (2020-10-26T03:19:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。