論文の概要: ClothFormer:Taming Video Virtual Try-on in All Module
- arxiv url: http://arxiv.org/abs/2204.12151v1
- Date: Tue, 26 Apr 2022 08:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 13:32:27.264861
- Title: ClothFormer:Taming Video Virtual Try-on in All Module
- Title（参考訳）: ClothFormer:全モジュールでビデオバーチャルトライオンをカスタマイズ
- Authors: Jianbin Jiang, Tan Wang, He Yan, Junhui Liu
- Abstract要約: ビデオの仮想試着は、対象の服を時間的に一貫した結果でビデオの人物に合わせることを目的としている。
ClothFormerフレームワークは、複雑な環境で現実的で時間的な一貫性のある結果をうまく合成する。
- 参考スコア（独自算出の注目度）: 12.084652803378598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of video virtual try-on aims to fit the target clothes to a person
in the video with spatio-temporal consistency. Despite tremendous progress of
image virtual try-on, they lead to inconsistency between frames when applied to
videos. Limited work also explored the task of video-based virtual try-on but
failed to produce visually pleasing and temporally coherent results. Moreover,
there are two other key challenges: 1) how to generate accurate warping when
occlusions appear in the clothing region; 2) how to generate clothes and
non-target body parts (e.g. arms, neck) in harmony with the complicated
background; To address them, we propose a novel video virtual try-on framework,
ClothFormer, which successfully synthesizes realistic, harmonious, and
spatio-temporal consistent results in complicated environment. In particular,
ClothFormer involves three major modules. First, a two-stage anti-occlusion
warping module that predicts an accurate dense flow mapping between the body
regions and the clothing regions. Second, an appearance-flow tracking module
utilizes ridge regression and optical flow correction to smooth the dense flow
sequence and generate a temporally smooth warped clothing sequence. Third, a
dual-stream transformer extracts and fuses clothing textures, person features,
and environment information to generate realistic try-on videos. Through
rigorous experiments, we demonstrate that our method highly surpasses the
baselines in terms of synthesized video quality both qualitatively and
quantitatively.
- Abstract（参考訳）: video virtual try-onのタスクは、対象の服をビデオ内の人物に時空間的一貫性を持たせることを目的としている。
画像バーチャル・トライオンの進歩にもかかわらず、ビデオに適用するとフレーム間の不整合が生じる。
限定的な研究は、ビデオベースの仮想試行の課題も探求したが、視覚的に快く、時間的に一貫性のある結果が得られなかった。
さらに2つの重要な課題があります。
1) 衣服領域に咬合が出現したときの正確な反りの発生方法
2) 複雑な背景と調和して衣服や非標的の身体部分(腕,首など)を生成する方法; これに対処するために, 現実的, 調和的, 時空間的一貫した結果を複雑な環境下でうまく合成する新しい仮想試行フレームワーク, ClothFormerを提案する。
特に、clotformerには3つの大きなモジュールがある。
まず,身体領域と衣服領域の間の密集した流れを正確に予測する2段階の抗閉塞性ウォーピングモジュールについて検討した。
第2に、尾根回帰と光流補正を利用して密流シーケンスを円滑にし、時間的にスムーズな衣料シーケンスを生成する。
第3に、デュアルストリームトランスフォーマーは、衣服のテクスチャ、人の特徴、環境情報を抽出して融合し、リアルな試着ビデオを生成する。
厳密な実験により,本手法が質的および定量的に合成された映像品質の基準を高い精度で上回っていることを実証した。
関連論文リスト
- WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。
従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。
衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。
私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
論文 参考訳（メタデータ） (2024-07-15T11:21:03Z) - ViViD: Video Virtual Try-on using Diffusion Models [46.710863047471264]
Video Virtual try-onは、服のアイテムを対象者のビデオに転送することを目的としている。
これまでのビデオベースの試行錯誤ソリューションは、視力の低い結果とぼやけた結果しか生成できない。
ビデオ仮想トライオンの課題に対処するために,強力な拡散モデルを用いた新しいフレームワークViViDを提案する。
論文 参考訳（メタデータ） (2024-05-20T05:28:22Z) - AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using
Garment Rigging Model [58.035758145894846]
AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。
身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。
本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
論文 参考訳（メタデータ） (2024-01-27T08:48:18Z) - PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。
まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。
本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
論文 参考訳（メタデータ） (2022-10-26T21:15:54Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - MV-TON: Memory-based Video Virtual Try-on network [49.496817042974456]
メモリベースの仮想トライオンネットワーク(MV-TON)を提案する。
MV-TONは、衣服テンプレートを使わずに、望ましい服を対象者にシームレスに転送し、高精細なリアルな映像を生成する。
実験により,ビデオ仮想試行課題における本手法の有効性と,既存の方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-17T08:35:23Z) - MonoClothCap: Towards Temporally Coherent Clothing Capture from
Monocular RGB Video [10.679773937444445]
本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。
我々は,Tシャツ,ショートパンツ,ロングパンツの3種類の衣服の統計的変形モデルを構築した。
本手法は,モノクロ映像から身体と衣服の時間的コヒーレントな再構築を実現する。
論文 参考訳（メタデータ） (2020-09-22T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。