論文の概要: Simultaneously Recovering Multi-Person Meshes and Multi-View Cameras with Human Semantics

• arxiv url: http://arxiv.org/abs/2412.18785v1
• Date: Wed, 25 Dec 2024 05:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:41.965963
• Title: Simultaneously Recovering Multi-Person Meshes and Multi-View Cameras with Human Semantics
• Title（参考訳）: ヒューマンセマンティクスを用いたマルチパーソンメッシュとマルチビューカメラの同時検索
• Authors: Buzhen Huang, Jingyi Ju, Yuan Shu, Yangang Wang,
• Abstract要約: 我々は、非校正カメラを用いたマルチパーソンモーションキャプチャーに焦点をあてる。 主要なアイデアは、カメラパラメータと人間のメッシュを同時に推定するために、動きの事前知識を組み込むことである。 その結果, 正確なカメラパラメータと人間の動きは, ワンステップで再現できることが示唆された。
• 参考スコア（独自算出の注目度）: 14.385538705947782
• License:
• Abstract: Dynamic multi-person mesh recovery has broad applications in sports broadcasting, virtual reality, and video games. However, current multi-view frameworks rely on a time-consuming camera calibration procedure. In this work, we focus on multi-person motion capture with uncalibrated cameras, which mainly faces two challenges: one is that inter-person interactions and occlusions introduce inherent ambiguities for both camera calibration and motion capture; the other is that a lack of dense correspondences can be used to constrain sparse camera geometries in a dynamic multi-person scene. Our key idea is to incorporate motion prior knowledge to simultaneously estimate camera parameters and human meshes from noisy human semantics. We first utilize human information from 2D images to initialize intrinsic and extrinsic parameters. Thus, the approach does not rely on any other calibration tools or background features. Then, a pose-geometry consistency is introduced to associate the detected humans from different views. Finally, a latent motion prior is proposed to refine the camera parameters and human motions. Experimental results show that accurate camera parameters and human motions can be obtained through a one-step reconstruction. The code are publicly available at~\url{https://github.com/boycehbz/DMMR}.
• Abstract（参考訳）: 動的マルチパーソンメッシュリカバリはスポーツ放送、バーチャルリアリティ、ビデオゲームに広く応用されている。 しかし、現在のマルチビューフレームワークは、時間を要するカメラキャリブレーション手順に依存している。 本研究では,被写体間相互作用とオクルージョンがカメラキャリブレーションとモーションキャプチャの両方に固有のあいまいさをもたらすこと,および動的マルチパーソンシーンにおけるスパースカメラジオメトリの制約に密接な対応が欠如していること,の2つの課題に主に直面するマルチパーソンモーションキャプチャに焦点をあてる。 私たちのキーとなるアイデアは、カメラパラメータと人間のメッシュをノイズの多い人間のセマンティクスから同時に推定するために、動きの事前知識を組み込むことです。 まず2次元画像からの人的情報を用いて,本質的パラメータと外生的パラメータを初期化する。 したがって、このアプローチは他のキャリブレーションツールやバックグラウンド機能に依存しない。 次に、検出された人間を異なる視点から関連付けるために、ポーズ・ジオメトリの整合性を導入する。 最後に、カメラパラメータと人間の動きを洗練させるために、先行する潜伏運動が提案されている。 実験結果から, カメラパラメータと人間の動きをワンステップで再現できることがわかった。 コードは~\url{https://github.com/boycehbz/DMMR}で公開されている。

関連論文リスト

• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• WHAC: World-grounded Humans and Cameras [37.877565981937586]
  我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。 WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。 我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:58:02Z)
• MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body Reconstruction [12.942635715952525]
  複数のカメラは、人物の包括的なマルチビュービデオカバレッジを提供することができる。 以前の研究では、複数の視点の下で自己排除によって生じる課題を見落としていた。 複数のカメラビューから3次元人体を再構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T05:03:25Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• SmartMocap: Joint Estimation of Human and Camera Motion using Uncalibrated RGB Cameras [49.110201064166915]
  複数のRGBカメラからのマーカーレス人間のモーションキャプチャ(モキャップ)は、広く研究されている問題である。 既存の方法は、モキャップシステムの基準フレームとして機能するスタティックカメラに対して、キャリブレーションされたカメラを必要とするか、あるいはそれらをキャリブレーションする必要がある。 複数の静止・移動可能なRGBカメラを用いたモキャップ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-28T08:21:04Z)
• Embodied Scene-aware Human Pose Estimation [25.094152307452]
  シーン認識型人間のポーズ推定手法を提案する。 本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
  論文  参考訳（メタデータ） (2022-06-18T03:50:19Z)
• Dynamic Multi-Person Mesh Recovery From Uncalibrated Multi-View Cameras [11.225376081130849]
  検出された人間の意味論の低周波・高周波ノイズを低減するために物理幾何学的整合性を導入する。 そこで, 外部カメラパラメータとコヒーレントな人間の動作を, わずかにノイズのある入力から同時に最適化する新しい潜伏運動法を提案する。 実験結果から,1段階の最適化により,正確なカメラパラメータと人間の動きが得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-20T03:19:20Z)
• FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
  マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。 エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。 Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
  論文  参考訳（メタデータ） (2021-05-05T09:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。