論文の概要: MonoClothCap: Towards Temporally Coherent Clothing Capture from Monocular RGB Video

• arxiv url: http://arxiv.org/abs/2009.10711v2
• Date: Mon, 23 Nov 2020 16:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 23:09:40.133365
• Title: MonoClothCap: Towards Temporally Coherent Clothing Capture from Monocular RGB Video
• Title（参考訳）: MonoClothCap: モノクラーRGBビデオから一時的にコヒーレントな衣服の撮影を目指す
• Authors: Donglai Xiang, Fabian Prada, Chenglei Wu, Jessica Hodgins
• Abstract要約: 本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。 我々は,Tシャツ,ショートパンツ,ロングパンツの3種類の衣服の統計的変形モデルを構築した。 本手法は,モノクロ映像から身体と衣服の時間的コヒーレントな再構築を実現する。
• 参考スコア（独自算出の注目度）: 10.679773937444445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method to capture temporally coherent dynamic clothing deformation from a monocular RGB video input. In contrast to the existing literature, our method does not require a pre-scanned personalized mesh template, and thus can be applied to in-the-wild videos. To constrain the output to a valid deformation space, we build statistical deformation models for three types of clothing: T-shirt, short pants and long pants. A differentiable renderer is utilized to align our captured shapes to the input frames by minimizing the difference in both silhouette, segmentation, and texture. We develop a UV texture growing method which expands the visible texture region of the clothing sequentially in order to minimize drift in deformation tracking. We also extract fine-grained wrinkle detail from the input videos by fitting the clothed surface to the normal maps estimated by a convolutional neural network. Our method produces temporally coherent reconstruction of body and clothing from monocular video. We demonstrate successful clothing capture results from a variety of challenging videos. Extensive quantitative experiments demonstrate the effectiveness of our method on metrics including body pose error and surface reconstruction error of the clothing.
• Abstract（参考訳）: 本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。 既存の文献とは対照的に,本手法では事前にスキャンしたメッシュテンプレートを必要とせず,Wildビデオに適用することができる。 出力を有効な変形空間に制約するために,Tシャツ,ショートパンツ,ロングパンツの3種類の服の統計的変形モデルを構築した。 シルエット, セグメンテーション, テクスチャの差を最小限にして, 捕捉した形状を入力フレームに合わせるために, 微分可能なレンダラーを用いる。 変形追跡におけるドリフトを最小化するために,衣服の目に見えるテクスチャ領域を順次拡大するuvテクスチャ成長法を開発した。 また,畳み込みニューラルネットワークによって推定される通常の地図に布地表面を合わせることにより,入力ビデオからきずの細部を抽出する。 本手法は単眼映像から身体と衣服の時間的コヒーレントな再構築を実現する。 さまざまな挑戦的なビデオから、衣料品のキャプチャが成功していることを示す。 広範囲な定量的実験により,衣服の姿勢誤差や表面再構成誤差などの指標に対する効果が実証された。

関連論文リスト

• DressRecon: Freeform 4D Human Reconstruction from Monocular Video [64.61230035671885]
  本稿では,モノクラービデオから時間一貫性のある人体モデルを再構築する手法を提案する。 非常にゆるい衣服やハンドヘルドオブジェクトのインタラクションに重点を置いています。 DressReconは、先行技術よりも忠実度の高い3D再構築を実現している。
  論文  参考訳（メタデータ） (2024-09-30T17:59:15Z)
• ReLoo: Reconstructing Humans Dressed in Loose Garments from Monocular Video in the Wild [33.7726643918619]
  ReLooは、モノラルなインザワイルドビデオから、ゆるい服を着た人間の高品質な3Dモデルを再構築する。 まず、布を被った人間を神経内装と外装に分解する層状神経人間表現を構築した。 グローバルな最適化は、多層異なるボリュームレンダリングにより、人体と衣服の形状、外観、変形を共同で最適化する。
  論文  参考訳（メタデータ） (2024-09-23T17:58:39Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation [79.99551055245071]
  時間的安定性を向上するエンドツーエンドパイプラインであるVividPoseを提案する。 識別対応外見制御器は、他の外見の詳細を損なうことなく、追加の顔情報を統合する。 SMPL-Xからの高密度レンダリングマップとスパーススケルトンマップの両方を利用する幾何対応のポーズコントローラ。 VividPoseは、提案したWildデータセットに優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-28T13:18:32Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• High-Quality Animatable Dynamic Garment Reconstruction from Monocular Videos [51.8323369577494]
  そこで本研究では,モノクロビデオから高品質なアニマタブルな動的衣服をスキャンデータに頼らずに回収する手法を提案する。 様々な不明瞭なポーズに対する合理的な変形を生成するために,学習可能な衣服変形ネットワークを提案する。 提案手法は,高品質な動的衣服をコヒーレントな表面形状で再構成し,見知らぬポーズで容易にアニメーションできることを示す。
  論文  参考訳（メタデータ） (2023-11-02T13:16:27Z)
• REC-MV: REconstructing 3D Dynamic Cloth from Monocular Videos [23.25620556096607]
  モノクロ映像から開放された境界でダイナミックな3D衣料表面を再構築することは重要な問題である。 本稿では,暗黙的特徴曲線と暗黙的符号距離場を協調的に最適化する,REC-MVと呼ばれる新しい手法を提案する。 提案手法は既存の手法より優れ, 高品質な動的衣料表面を創出できる。
  論文  参考訳（メタデータ） (2023-05-23T16:53:10Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• MulayCap: Multi-layer Human Performance Capture Using A Monocular Video Camera [68.51530260071914]
  単眼ビデオカメラを用いた新しい人体パフォーマンスキャプチャ手法である MulayCap について,事前スキャンを必要とせずに紹介する。 この手法は、幾何再構成とテクスチャレンダリングに「多層」表現を用いる。 MulayCapは、布の編集、再ターゲット、リライト、ARアプリケーションなど、さまざまな重要な編集アプリケーションに適用できる。
  論文  参考訳（メタデータ） (2020-04-13T08:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。