論文の概要: MonoClothCap: Towards Temporally Coherent Clothing Capture from
Monocular RGB Video
- arxiv url: http://arxiv.org/abs/2009.10711v2
- Date: Mon, 23 Nov 2020 16:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 23:09:40.133365
- Title: MonoClothCap: Towards Temporally Coherent Clothing Capture from
Monocular RGB Video
- Title(参考訳): MonoClothCap: モノクラーRGBビデオから一時的にコヒーレントな衣服の撮影を目指す
- Authors: Donglai Xiang, Fabian Prada, Chenglei Wu, Jessica Hodgins
- Abstract要約: 本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。
我々は,Tシャツ,ショートパンツ,ロングパンツの3種類の衣服の統計的変形モデルを構築した。
本手法は,モノクロ映像から身体と衣服の時間的コヒーレントな再構築を実現する。
- 参考スコア(独自算出の注目度): 10.679773937444445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method to capture temporally coherent dynamic clothing
deformation from a monocular RGB video input. In contrast to the existing
literature, our method does not require a pre-scanned personalized mesh
template, and thus can be applied to in-the-wild videos. To constrain the
output to a valid deformation space, we build statistical deformation models
for three types of clothing: T-shirt, short pants and long pants. A
differentiable renderer is utilized to align our captured shapes to the input
frames by minimizing the difference in both silhouette, segmentation, and
texture. We develop a UV texture growing method which expands the visible
texture region of the clothing sequentially in order to minimize drift in
deformation tracking. We also extract fine-grained wrinkle detail from the
input videos by fitting the clothed surface to the normal maps estimated by a
convolutional neural network. Our method produces temporally coherent
reconstruction of body and clothing from monocular video. We demonstrate
successful clothing capture results from a variety of challenging videos.
Extensive quantitative experiments demonstrate the effectiveness of our method
on metrics including body pose error and surface reconstruction error of the
clothing.
- Abstract(参考訳): 本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。
既存の文献とは対照的に,本手法では事前にスキャンしたメッシュテンプレートを必要とせず,Wildビデオに適用することができる。
出力を有効な変形空間に制約するために,Tシャツ,ショートパンツ,ロングパンツの3種類の服の統計的変形モデルを構築した。
シルエット, セグメンテーション, テクスチャの差を最小限にして, 捕捉した形状を入力フレームに合わせるために, 微分可能なレンダラーを用いる。
変形追跡におけるドリフトを最小化するために,衣服の目に見えるテクスチャ領域を順次拡大するuvテクスチャ成長法を開発した。
また,畳み込みニューラルネットワークによって推定される通常の地図に布地表面を合わせることにより,入力ビデオからきずの細部を抽出する。
本手法は単眼映像から身体と衣服の時間的コヒーレントな再構築を実現する。
さまざまな挑戦的なビデオから、衣料品のキャプチャが成功していることを示す。
広範囲な定量的実験により,衣服の姿勢誤差や表面再構成誤差などの指標に対する効果が実証された。
関連論文リスト
- AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using
Garment Rigging Model [58.035758145894846]
AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。
身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。
本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
論文 参考訳(メタデータ) (2024-01-27T08:48:18Z) - A Two-stage Personalized Virtual Try-on Framework with Shape Control and
Texture Guidance [7.302929117437442]
本稿では,2段階(形状制御とテクスチャガイダンス)を用いて衣服属性を分離する,新しい仮想試行モデル(PE-VITON)を提案する。
提案モデルでは, 衣服の折り畳みの弱さ, 複雑な姿勢下での創出効果の低下, 衣服のぼやけた縁, 従来の試行法では不明瞭なテクスチャスタイルを効果的に解決することができる。
論文 参考訳(メタデータ) (2023-12-24T13:32:55Z) - High-Quality Animatable Dynamic Garment Reconstruction from Monocular
Videos [51.8323369577494]
そこで本研究では,モノクロビデオから高品質なアニマタブルな動的衣服をスキャンデータに頼らずに回収する手法を提案する。
様々な不明瞭なポーズに対する合理的な変形を生成するために,学習可能な衣服変形ネットワークを提案する。
提案手法は,高品質な動的衣服をコヒーレントな表面形状で再構成し,見知らぬポーズで容易にアニメーションできることを示す。
論文 参考訳(メタデータ) (2023-11-02T13:16:27Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳(メタデータ) (2023-07-11T17:58:31Z) - REC-MV: REconstructing 3D Dynamic Cloth from Monocular Videos [23.25620556096607]
モノクロ映像から開放された境界でダイナミックな3D衣料表面を再構築することは重要な問題である。
本稿では,暗黙的特徴曲線と暗黙的符号距離場を協調的に最適化する,REC-MVと呼ばれる新しい手法を提案する。
提案手法は既存の手法より優れ, 高品質な動的衣料表面を創出できる。
論文 参考訳(メタデータ) (2023-05-23T16:53:10Z) - PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。
まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。
本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
論文 参考訳(メタデータ) (2022-10-26T21:15:54Z) - ClothFormer:Taming Video Virtual Try-on in All Module [12.084652803378598]
ビデオの仮想試着は、対象の服を時間的に一貫した結果でビデオの人物に合わせることを目的としている。
ClothFormerフレームワークは、複雑な環境で現実的で時間的な一貫性のある結果をうまく合成する。
論文 参考訳(メタデータ) (2022-04-26T08:40:28Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳(メタデータ) (2021-11-24T08:59:56Z) - SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks [54.94737477860082]
本論文では,着る人間の生の3Dスキャンをイメージ可能なアバターに変える,エンドツーエンドのトレーニング可能なフレームワークを提案する。
SCANimateはカスタマイズされたメッシュテンプレートや表面メッシュ登録に依存しません。
本手法はポーズ認識型外観モデルに適用でき,完全にテクスチャ化されたアバターを生成できる。
論文 参考訳(メタデータ) (2021-04-07T17:59:58Z) - MulayCap: Multi-layer Human Performance Capture Using A Monocular Video
Camera [68.51530260071914]
単眼ビデオカメラを用いた新しい人体パフォーマンスキャプチャ手法である MulayCap について,事前スキャンを必要とせずに紹介する。
この手法は、幾何再構成とテクスチャレンダリングに「多層」表現を用いる。
MulayCapは、布の編集、再ターゲット、リライト、ARアプリケーションなど、さまざまな重要な編集アプリケーションに適用できる。
論文 参考訳(メタデータ) (2020-04-13T08:13:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。