論文の概要: MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild

• arxiv url: http://arxiv.org/abs/2406.01595v1
• Date: Mon, 3 Jun 2024 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 21:31:36.259718
• Title: MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild
• Title（参考訳）: MultiPly:野生のモノクラービデオから複数人の再構築
• Authors: Zeren Jiang, Chen Guo, Manuel Kaufmann, Tianjian Jiang, Julien Valentin, Otmar Hilliges, Jie Song,
• Abstract要約: モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
• 参考スコア（独自算出の注目度）: 32.6521941706907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MultiPly, a novel framework to reconstruct multiple people in 3D from monocular in-the-wild videos. Reconstructing multiple individuals moving and interacting naturally from monocular in-the-wild videos poses a challenging task. Addressing it necessitates precise pixel-level disentanglement of individuals without any prior knowledge about the subjects. Moreover, it requires recovering intricate and complete 3D human shapes from short video sequences, intensifying the level of difficulty. To tackle these challenges, we first define a layered neural representation for the entire scene, composited by individual human and background models. We learn the layered neural representation from videos via our layer-wise differentiable volume rendering. This learning process is further enhanced by our hybrid instance segmentation approach which combines the self-supervised 3D segmentation and the promptable 2D segmentation module, yielding reliable instance segmentation supervision even under close human interaction. A confidence-guided optimization formulation is introduced to optimize the human poses and shape/appearance alternately. We incorporate effective objectives to refine human poses via photometric information and impose physically plausible constraints on human dynamics, leading to temporally consistent 3D reconstructions with high fidelity. The evaluation of our method shows the superiority over prior art on publicly available datasets and in-the-wild videos.
• Abstract（参考訳）: モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 モノラルなインザワイルドビデオから自然に動き、相互作用する複数の個人を再構築することは、難しい課題だ。 これに対処するには、被写体に関する事前の知識がなくても、個人が正確にピクセルレベルの絡み合う必要がある。 さらに、短いビデオシーケンスから複雑な3次元の人間の形状を復元し、難易度を高める必要がある。 これらの課題に対処するために、まず、個々の人間と背景モデルによって合成されたシーン全体の階層化されたニューラル表現を定義します。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。 この学習プロセスは, 自己教師付き3次元セグメント化モジュールとプロンプト可能な2次元セグメント化モジュールを組み合わせたハイブリッドインスタンスセグメント化アプローチによってさらに強化され, 密接な相互作用の下でも信頼性の高いインスタンスセグメント化管理が実現される。 人間のポーズと形状/外観を交互に最適化するために、信頼誘導最適化の定式化を導入する。 光度情報を用いて人間のポーズを洗練させ、人間のダイナミクスに物理的に妥当な制約を課し、高忠実度で時間的に一貫した3D再構成を実現するための効果的な目的を取り入れた。 提案手法の評価は,公開データセットや動画の先行技術よりも優れていることを示す。

関連論文リスト

• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis [40.869862603815875]
  VLOGGER (VLOGGER) は、単一の入力画像から音声駆動のヒューマンビデオを生成する方法である。 空間的および時間的制御の両面からテキスト・ツー・イメージ・モデルを拡張する新しい拡散型アーキテクチャを用いている。 ビデオ編集やパーソナライズにおける応用例を示す。
  論文  参考訳（メタデータ） (2024-03-13T17:59:02Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Self-Supervised 3D Human Pose Estimation in Static Video Via Neural Rendering [5.568218439349004]
  2D画像から3Dの人間のポーズを推定することは、コンピュータビジョンの分野における困難かつ長年の問題である。 本研究では,1人の人物を含む2次元映像から3次元ポーズを推定する手法の予備的な結果を示す。
  論文  参考訳（メタデータ） (2022-10-10T09:24:07Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
  本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T03:09:20Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
  本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。 既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
  論文  参考訳（メタデータ） (2021-04-19T13:21:55Z)
• Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
  人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。 本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。 実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-05-07T09:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。