論文の概要: MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body Reconstruction

• arxiv url: http://arxiv.org/abs/2403.05055v1
• Date: Fri, 8 Mar 2024 05:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 20:56:06.987884
• Title: MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body Reconstruction
• Title（参考訳）: MUC:ロバストな3D人体再構築のための非校正カメラの混合
• Authors: Yitao Zhu, Sheng Wang, Mengjie Xu, Zixu Zhuang, Zhixin Wang, Kaidong Wang, Han Zhang, Qian Wang
• Abstract要約: 複数のカメラビューから3次元人体を再構成する手法を提案する。 提案手法は,2つの公開データセット上に人体を再構築する際の優れた性能を示す。
• 参考スコア（独自算出の注目度）: 13.500077704418764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple cameras can provide multi-view video coverage of a person. It is necessary to fuse multi-view data, e.g., for subsequent behavioral analysis, while such fusion often relies on calibration of cameras in traditional solutions. However, it is non-trivial to calibrate multiple cameras. In this work, we propose a method to reconstruct 3D human body from multiple uncalibrated camera views. First, we adopt a pre-trained human body encoder to process each individual camera view, such that human body models and parameters can be reconstructed for each view. Next, instead of simply averaging models across views, we train a network to determine the weights of individual views for their fusion, based on the parameters estimated for joints and hands of human body as well as camera positions. Further, we turn to the mesh surface of human body for dynamic fusion, such that facial expression can be seamlessly integrated into the model of human body. Our method has demonstrated superior performance in reconstructing human body upon two public datasets. More importantly, our method can flexibly support ad-hoc deployment of an arbitrary number of cameras, which has significant potential in related applications. We will release source code upon acceptance of the paper.
• Abstract（参考訳）: 複数のカメラは、人のマルチビュービデオカバレッジを提供することができる。 例えば、その後の行動分析にはマルチビューデータを融合する必要があるが、そのような融合はしばしば従来のソリューションにおけるカメラの校正に依存している。 しかし、複数のカメラのキャリブレーションは自明ではない。 本研究では,複数のカメラビューから3次元人体を再構成する手法を提案する。 まず,事前学習した人体エンコーダを用いて個々のカメラビューを処理し,各ビューに対して人体モデルとパラメータを再構成する。 次に、単に複数のビューにまたがるモデルの平均化ではなく、ネットワークを訓練し、それぞれのビューの融合の重み付けを、人間の関節や手やカメラの位置から推定されるパラメータに基づいて決定する。 さらに,人間の顔の表情を人体モデルにシームレスに統合できるような,ダイナミックフュージョンのための人体のメッシュ面に目を向ける。 提案手法は,2つの公開データセット上に人体を再構築する際の優れた性能を示す。 さらに,本手法は任意の数のカメラのアドホック展開を柔軟にサポートし,関連アプリケーションに有意な可能性を秘めている。 論文が受け入れられ次第、ソースコードをリリースします。

関連論文リスト

• DressRecon: Freeform 4D Human Reconstruction from Monocular Video [64.61230035671885]
  本稿では,モノクラービデオから時間一貫性のある人体モデルを再構築する手法を提案する。 非常にゆるい衣服やハンドヘルドオブジェクトのインタラクションに重点を置いています。 DressReconは、先行技術よりも忠実度の高い3D再構築を実現している。
  論文  参考訳（メタデータ） (2024-09-30T17:59:15Z)
• Self-learning Canonical Space for Multi-view 3D Human Pose Estimation [57.969696744428475]
  マルチビュー3次元人間のポーズ推定は、自然に単一ビューのポーズ推定よりも優れている。 これらの情報の正確な注釈を得るのは難しい。 完全自己管理型多視点アグリゲーションネットワーク(CMANet)を提案する。 CMANetは、大規模で質的な分析において最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-19T04:54:59Z)
• Human Mesh Recovery from Arbitrary Multi-view Images [57.969696744428475]
  任意の多視点画像からU-HMR(Unified Human Mesh Recovery)を分離・征服する枠組みを提案する。 特にU-HMRは、分離された構造と、カメラとボディーデカップリング(CBD)、カメラポーズ推定(CPE)、任意のビューフュージョン(AVF)の2つの主要コンポーネントから構成されている。 我々は、Human3.6M、MPI-INF-3DHP、TotalCaptureの3つの公開データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-03-19T04:47:56Z)
• Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [22.848563931757962]
  単一のRGB画像から多人数で3Dメッシュを回収するための強力なシグルショットモデルであるMulti-HMRを提案する。 SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。 トレーニングデータに組み込むことで,特に手に対する予測がさらに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:05:13Z)
• Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views [32.940614931864154]
  身体のポーズ分布をモデル化するシーン条件拡散法を提案する。 この方法は、可塑性ヒトとシーンの相互作用において体を生成する。 目に見える関節の精度と、目に見えない身体の部分の多様性に優れる。
  論文  参考訳（メタデータ） (2023-04-12T17:58:57Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry [2.7541825072548805]
  本稿では,複数視点カメラシステムに基づく1人の人物の3次元ポーズ推定のための自己教師付き学習アルゴリズムを提案する。 そこで本研究では,2次元・3次元の立体ポーズが不要な4自由度関数学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:31:24Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。