論文の概要: DressRecon: Freeform 4D Human Reconstruction from Monocular Video

• arxiv url: http://arxiv.org/abs/2409.20563v2
• Date: Tue, 8 Oct 2024 18:56:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 15:38:59.435287
• Title: DressRecon: Freeform 4D Human Reconstruction from Monocular Video
• Title（参考訳）: DressRecon:モノクロビデオによるフリーフォーム4D人間の再構築
• Authors: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang,
• Abstract要約: 本稿では,モノクラービデオから時間一貫性のある人体モデルを再構築する手法を提案する。 非常にゆるい衣服やハンドヘルドオブジェクトのインタラクションに重点を置いています。 DressReconは、先行技術よりも忠実度の高い3D再構築を実現している。
• 参考スコア（独自算出の注目度）: 64.61230035671885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/
• Abstract（参考訳）: 本稿では,モノクラービデオから,極端にゆるい衣服やハンドヘルドオブジェクトのインタラクションに着目した,時間一貫性のある人体モデルを再構築する手法を提案する。 人体再構成の以前の作業は、オブジェクト間の相互作用のないタイトな衣服に限られていたり、校正されたマルチビューキャプチャや、大規模に収集するのにコストがかかるテンプレートスキャンが必要だったりしている。 高品質でフレキシブルな再構築の鍵となる洞察は、人体形状(大規模なトレーニングデータから得られた)とビデオ特有の「骨の袋(bag-of-bones)」変形(テスト時間最適化による単一のビデオに適合する)に関する一般的な人間の事前の注意深い組み合わせである。 我々は、身体と衣服の変形を別々の動きモデル層として切り離すニューラル暗黙モデルを学ぶことで、これを達成した。 衣服の微妙な形状を捉えるために, 人体ポーズ, 表面の正常, 最適化時の光学的流れなどの画像に基づく先行情報を活用する。 結果のニューラルネットワークは、時間一貫性のあるメッシュに抽出することも、高忠実なインタラクティブレンダリングのために、明示的な3Dガウスアンとして最適化することもできる。 DressReconは、高度に挑戦的な衣服の変形とオブジェクトのインタラクションを持つデータセットに対して、以前の技術よりも忠実度の高い3D再構成を出力する。 プロジェクトページ: https://jefftan969.github.io/dressrecon/

関連論文リスト

• ReLoo: Reconstructing Humans Dressed in Loose Garments from Monocular Video in the Wild [33.7726643918619]
  ReLooは、モノラルなインザワイルドビデオから、ゆるい服を着た人間の高品質な3Dモデルを再構築する。 まず、布を被った人間を神経内装と外装に分解する層状神経人間表現を構築した。 グローバルな最適化は、多層異なるボリュームレンダリングにより、人体と衣服の形状、外観、変形を共同で最適化する。
  論文  参考訳（メタデータ） (2024-09-23T17:58:39Z)
• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
  関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。 提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-17T08:01:55Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing [49.32522765356914]
  私たちは、身体のポーズの関数として、服装の人々をアニメーションすることを学びます。 我々は、学習された変形場を非剛性効果のモデルに適用した、空間のすべての点を標準空間にマッピングすることを学ぶ。 ニューラルGIFは生の3Dスキャンに基づいてトレーニングし、詳細な複雑な表面形状と変形を再構築することができる。
  論文  参考訳（メタデータ） (2021-08-19T17:25:16Z)
• Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images [5.775625085664381]
  本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。 このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。 本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
  論文  参考訳（メタデータ） (2021-06-22T04:26:11Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。