論文の概要: MV-TON: Memory-based Video Virtual Try-on network
- arxiv url: http://arxiv.org/abs/2108.07502v1
- Date: Tue, 17 Aug 2021 08:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:19:21.690756
- Title: MV-TON: Memory-based Video Virtual Try-on network
- Title(参考訳): MV-TON: メモリベースの仮想トライオンネットワーク
- Authors: Xiaojing Zhong, Zhonghua Wu, Taizhe Tan, Guosheng Lin, Qingyao Wu
- Abstract要約: メモリベースの仮想トライオンネットワーク(MV-TON)を提案する。
MV-TONは、衣服テンプレートを使わずに、望ましい服を対象者にシームレスに転送し、高精細なリアルな映像を生成する。
実験により,ビデオ仮想試行課題における本手法の有効性と,既存の方法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 49.496817042974456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of Generative Adversarial Network, image-based virtual
try-on methods have made great progress. However, limited work has explored the
task of video-based virtual try-on while it is important in real-world
applications. Most existing video-based virtual try-on methods usually require
clothing templates and they can only generate blurred and low-resolution
results. To address these challenges, we propose a Memory-based Video virtual
Try-On Network (MV-TON), which seamlessly transfers desired clothes to a target
person without using any clothing templates and generates high-resolution
realistic videos. Specifically, MV-TON consists of two modules: 1) a try-on
module that transfers the desired clothes from model images to frame images by
pose alignment and region-wise replacing of pixels; 2) a memory refinement
module that learns to embed the existing generated frames into the latent space
as external memory for the following frame generation. Experimental results
show the effectiveness of our method in the video virtual try-on task and its
superiority over other existing methods.
- Abstract(参考訳): Generative Adversarial Networkの開発により、画像ベースの仮想試行法は大きな進歩を遂げた。
しかし,実際のアプリケーションでは,ビデオベースの仮想試行作業が重要でありながら,限定的な作業が求められている。
既存のビデオベースの仮想試行法の多くは、通常衣服のテンプレートを必要とし、ぼやけた結果と低解像度の結果しか生成できない。
そこで,本稿では,被服テンプレートを使わずに,被服を被写体にシームレスに転送し,高精細なリアルビデオを生成するメモリベースビデオ仮想トライオンネットワーク(mv-ton)を提案する。
特に、MV-TONは、2つのモジュールから構成される。1)モデル画像からフレーム画像へ所望の衣服をポーズアライメントし、ピクセルを領域的に置き換える試着モジュール、2)既存の生成されたフレームを潜在空間に埋め込み、後続のフレーム生成のための外部メモリとして学習するメモリリファインメントモジュール。
実験により,ビデオ仮想試行課題における本手法の有効性と,既存の方法よりも優れていることを示す。
関連論文リスト
- Improving Diffusion Models for Virtual Try-on [57.893391816847405]
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
IDM-VTONと呼ばれる本手法は,2つの異なるモジュールを用いて衣料画像の意味を符号化する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T08:12:18Z) - Moonshot: Towards Controllable Video Generation and Editing with
Multimodal Conditions [94.03133100056372]
Moonshotは、画像とテキストのマルチモーダル入力を同時に処理する新しいビデオ生成モデルである。
モデルは、パーソナライズされたビデオ生成、画像アニメーション、ビデオ編集など、様々な生成アプリケーションに容易に再利用できる。
論文 参考訳(メタデータ) (2024-01-03T16:43:47Z) - DI-Net : Decomposed Implicit Garment Transfer Network for Digital
Clothed 3D Human [75.45488434002898]
既存の2D仮想試行法は、各ピクセルの深さを知覚できないため、直接3Dに拡張することはできない。
本稿では,新たに試みられた3次元メッシュをシームレスに再構築可能な,分解型インプリシト衣服転送ネットワーク(DI-Net)を提案する。
論文 参考訳(メタデータ) (2023-11-28T14:28:41Z) - MoVideo: Motion-Aware Video Generation with Diffusion Models [102.81825637792572]
本稿では,映像深度と光フローの2つの側面から動きを考慮に入れたモーションアウェア・ジェネレーション(MoVideo)フレームワークを提案する。
MoVideoは、テキスト・トゥ・ビデオと画像・トゥ・ビデオ生成の両方で最先端の結果を達成し、期待できる即時一貫性、フレームの整合性、視覚的品質を示す。
論文 参考訳(メタデータ) (2023-11-19T13:36:03Z) - VTON-IT: Virtual Try-On using Image Translation [0.0]
我々は,セマンティックセグメンテーションと生成的対向的アーキテクチャに基づく画像翻訳ネットワークを通じて,フォトリアリスティックな翻訳画像を作成しようとする。
本稿では、RGB画像、所望の身体部分のセグメントを抽出し、セグメント化された身体領域にターゲット布をオーバーレイする、新しい画像ベースの仮想トライオンアプリケーションVTON-ITを提案する。
論文 参考訳(メタデータ) (2023-10-06T19:47:20Z) - Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。
我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。
本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
論文 参考訳(メタデータ) (2023-05-06T09:07:01Z) - ClothFormer:Taming Video Virtual Try-on in All Module [12.084652803378598]
ビデオの仮想試着は、対象の服を時間的に一貫した結果でビデオの人物に合わせることを目的としている。
ClothFormerフレームワークは、複雑な環境で現実的で時間的な一貫性のある結果をうまく合成する。
論文 参考訳(メタデータ) (2022-04-26T08:40:28Z) - SieveNet: A Unified Framework for Robust Image-Based Virtual Try-On [14.198545992098309]
SieveNetは、堅牢なイメージベースの仮想トライオンのためのフレームワークである。
細粒度精度をモデル化する多段粗いワープネットワークを提案する。
また,テクスチャ伝達ネットワークを改善するために,試着型布条件セグメンテーションマスクを導入する。
論文 参考訳(メタデータ) (2020-01-17T12:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。