論文の概要: ViViD: Video Virtual Try-on using Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.11794v2
• Date: Tue, 28 May 2024 04:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 00:29:50.718942
• Title: ViViD: Video Virtual Try-on using Diffusion Models
• Title（参考訳）: ViViD:拡散モデルを用いたビデオバーチャルトライオン
• Authors: Zixun Fang, Wei Zhai, Aimin Su, Hongliang Song, Kai Zhu, Mao Wang, Yu Chen, Zhiheng Liu, Yang Cao, Zheng-Jun Zha,
• Abstract要約: Video Virtual try-onは、服のアイテムを対象者のビデオに転送することを目的としている。 これまでのビデオベースの試行錯誤ソリューションは、視力の低い結果とぼやけた結果しか生成できない。 ビデオ仮想トライオンの課題に対処するために,強力な拡散モデルを用いた新しいフレームワークViViDを提案する。
• 参考スコア（独自算出の注目度）: 46.710863047471264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video virtual try-on aims to transfer a clothing item onto the video of a target person. Directly applying the technique of image-based try-on to the video domain in a frame-wise manner will cause temporal-inconsistent outcomes while previous video-based try-on solutions can only generate low visual quality and blurring results. In this work, we present ViViD, a novel framework employing powerful diffusion models to tackle the task of video virtual try-on. Specifically, we design the Garment Encoder to extract fine-grained clothing semantic features, guiding the model to capture garment details and inject them into the target video through the proposed attention feature fusion mechanism. To ensure spatial-temporal consistency, we introduce a lightweight Pose Encoder to encode pose signals, enabling the model to learn the interactions between clothing and human posture and insert hierarchical Temporal Modules into the text-to-image stable diffusion model for more coherent and lifelike video synthesis. Furthermore, we collect a new dataset, which is the largest, with the most diverse types of garments and the highest resolution for the task of video virtual try-on to date. Extensive experiments demonstrate that our approach is able to yield satisfactory video try-on results. The dataset, codes, and weights will be publicly available. Project page: https://becauseimbatman0.github.io/ViViD.
• Abstract（参考訳）: Video Virtual try-onは、服のアイテムを対象者のビデオに転送することを目的としている。 画像ベーストライオンの技法をフレームワイズで直接適用すると、時間的に一貫性のない結果が生じるが、従来のビデオベーストライオンソリューションでは、視覚的品質が低く、ぼやけた結果しか得られない。 本稿では,ビデオ仮想試行の課題に取り組むために,強力な拡散モデルを用いた新しいフレームワークViViDを提案する。 具体的には、Garment Encoderを設計し、細粒度の衣服のセマンティックな特徴を抽出し、提案した注目特徴融合機構を通じて、被服の詳細を捕捉し、対象映像に注入するモデルを導出する。 空間的時間的整合性を確保するために,ポーズ信号を符号化する軽量なPose Encoderを導入し,衣服と姿勢の相互作用を学習し,階層型時間モジュールをテキストから画像への安定拡散モデルに挿入することで,よりコヒーレントでライフライクなビデオ合成を実現する。 さらに、最も多様な種類の衣服と、ビデオバーチャルトライオンのタスクのための最高の解像度を備えた、最大規模のデータセットを収集する。 大規模な実験により,本手法は良好なビデオ試行結果が得られることが示された。 データセット、コード、ウェイトが公開される。 プロジェクトページ: https://becauseimbatman0.github.io/ViViD。

関連論文リスト

• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
  We present a UniAnimate framework to enable efficient and long-term human video generation。 我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。 また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
  論文  参考訳（メタデータ） (2024-06-03T10:51:10Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• ClothFormer:Taming Video Virtual Try-on in All Module [12.084652803378598]
  ビデオの仮想試着は、対象の服を時間的に一貫した結果でビデオの人物に合わせることを目的としている。 ClothFormerフレームワークは、複雑な環境で現実的で時間的な一貫性のある結果をうまく合成する。
  論文  参考訳（メタデータ） (2022-04-26T08:40:28Z)
• Video Content Swapping Using GAN [1.2300363114433952]
  この作業では、ビデオの任意のフレームをコンテンツとポーズに分解します。 まず、事前訓練された人間のポーズ検出を用いて映像からポーズ情報を抽出し、生成モデルを用いてコンテンツコードに基づいて映像を合成し、コードを合成する。
  論文  参考訳（メタデータ） (2021-11-21T23:01:58Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• A Good Image Generator Is What You Need for High-Resolution Video Synthesis [73.82857768949651]
  現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。 我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。 本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-04-30T15:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。