論文の概要: ClothFormer:Taming Video Virtual Try-on in All Module
- arxiv url: http://arxiv.org/abs/2204.12151v1
- Date: Tue, 26 Apr 2022 08:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 13:32:27.264861
- Title: ClothFormer:Taming Video Virtual Try-on in All Module
- Title(参考訳): ClothFormer:全モジュールでビデオバーチャルトライオンをカスタマイズ
- Authors: Jianbin Jiang, Tan Wang, He Yan, Junhui Liu
- Abstract要約: ビデオの仮想試着は、対象の服を時間的に一貫した結果でビデオの人物に合わせることを目的としている。
ClothFormerフレームワークは、複雑な環境で現実的で時間的な一貫性のある結果をうまく合成する。
- 参考スコア(独自算出の注目度): 12.084652803378598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of video virtual try-on aims to fit the target clothes to a person
in the video with spatio-temporal consistency. Despite tremendous progress of
image virtual try-on, they lead to inconsistency between frames when applied to
videos. Limited work also explored the task of video-based virtual try-on but
failed to produce visually pleasing and temporally coherent results. Moreover,
there are two other key challenges: 1) how to generate accurate warping when
occlusions appear in the clothing region; 2) how to generate clothes and
non-target body parts (e.g. arms, neck) in harmony with the complicated
background; To address them, we propose a novel video virtual try-on framework,
ClothFormer, which successfully synthesizes realistic, harmonious, and
spatio-temporal consistent results in complicated environment. In particular,
ClothFormer involves three major modules. First, a two-stage anti-occlusion
warping module that predicts an accurate dense flow mapping between the body
regions and the clothing regions. Second, an appearance-flow tracking module
utilizes ridge regression and optical flow correction to smooth the dense flow
sequence and generate a temporally smooth warped clothing sequence. Third, a
dual-stream transformer extracts and fuses clothing textures, person features,
and environment information to generate realistic try-on videos. Through
rigorous experiments, we demonstrate that our method highly surpasses the
baselines in terms of synthesized video quality both qualitatively and
quantitatively.
- Abstract(参考訳): video virtual try-onのタスクは、対象の服をビデオ内の人物に時空間的一貫性を持たせることを目的としている。
画像バーチャル・トライオンの進歩にもかかわらず、ビデオに適用するとフレーム間の不整合が生じる。
限定的な研究は、ビデオベースの仮想試行の課題も探求したが、視覚的に快く、時間的に一貫性のある結果が得られなかった。
さらに2つの重要な課題があります。
1) 衣服領域に咬合が出現したときの正確な反りの発生方法
2) 複雑な背景と調和して衣服や非標的の身体部分(腕,首など)を生成する方法; これに対処するために, 現実的, 調和的, 時空間的一貫した結果を複雑な環境下でうまく合成する新しい仮想試行フレームワーク, ClothFormerを提案する。
特に、clotformerには3つの大きなモジュールがある。
まず,身体領域と衣服領域の間の密集した流れを正確に予測する2段階の抗閉塞性ウォーピングモジュールについて検討した。
第2に、尾根回帰と光流補正を利用して密流シーケンスを円滑にし、時間的にスムーズな衣料シーケンスを生成する。
第3に、デュアルストリームトランスフォーマーは、衣服のテクスチャ、人の特徴、環境情報を抽出して融合し、リアルな試着ビデオを生成する。
厳密な実験により,本手法が質的および定量的に合成された映像品質の基準を高い精度で上回っていることを実証した。
関連論文リスト
- AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using
Garment Rigging Model [58.035758145894846]
AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。
身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。
本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
論文 参考訳(メタデータ) (2024-01-27T08:48:18Z) - PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。
まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。
本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
論文 参考訳(メタデータ) (2022-10-26T21:15:54Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳(メタデータ) (2021-11-24T08:59:56Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳(メタデータ) (2021-11-01T15:32:51Z) - MV-TON: Memory-based Video Virtual Try-on network [49.496817042974456]
メモリベースの仮想トライオンネットワーク(MV-TON)を提案する。
MV-TONは、衣服テンプレートを使わずに、望ましい服を対象者にシームレスに転送し、高精細なリアルな映像を生成する。
実験により,ビデオ仮想試行課題における本手法の有効性と,既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-08-17T08:35:23Z) - Cloth Interactive Transformer for Virtual Try-On [106.21605249649957]
本稿では,仮想試行作業のための2段階のインタラクティブトランス (CIT) 手法を提案する。
第1段階では, CITマッチングブロックを設計し, 着物非依存者情報と着物内布情報との長距離相関関係を正確に把握することを目的とした。
第2段階では,人物表現のグローバルな相互相互依存関係を確立するためのCIT推論ブロック,整形衣料品,およびそれに対応する整形布マスクを作成した。
論文 参考訳(メタデータ) (2021-04-12T14:45:32Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳(メタデータ) (2020-12-20T16:54:38Z) - MonoClothCap: Towards Temporally Coherent Clothing Capture from
Monocular RGB Video [10.679773937444445]
本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。
我々は,Tシャツ,ショートパンツ,ロングパンツの3種類の衣服の統計的変形モデルを構築した。
本手法は,モノクロ映像から身体と衣服の時間的コヒーレントな再構築を実現する。
論文 参考訳(メタデータ) (2020-09-22T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。