論文の概要: Dressing in the Wild by Watching Dance Videos

• arxiv url: http://arxiv.org/abs/2203.15320v1
• Date: Tue, 29 Mar 2022 08:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:12:04.214792
• Title: Dressing in the Wild by Watching Dance Videos
• Title（参考訳）: ダンスビデオを見ながら野生のドレッシング
• Authors: Xin Dong, Fuwei Zhao, Zhenyu Xie, Xijin Zhang, Daniel K. Du, Min Zheng, Xiang Long, Xiaodan Liang, Jianchao Yang
• Abstract要約: 本稿では,現実の場面における仮想試行に参画し,現実性と自然性の向上をもたらす。 我々は,衣服の移動をより効果的に進める,wFlowと呼ばれる新しい生成ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 69.7692630502019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While significant progress has been made in garment transfer, one of the most applicable directions of human-centric image generation, existing works overlook the in-the-wild imagery, presenting severe garment-person misalignment as well as noticeable degradation in fine texture details. This paper, therefore, attends to virtual try-on in real-world scenes and brings essential improvements in authenticity and naturalness especially for loose garment (e.g., skirts, formal dresses), challenging poses (e.g., cross arms, bent legs), and cluttered backgrounds. Specifically, we find that the pixel flow excels at handling loose garments whereas the vertex flow is preferred for hard poses, and by combining their advantages we propose a novel generative network called wFlow that can effectively push up garment transfer to in-the-wild context. Moreover, former approaches require paired images for training. Instead, we cut down the laboriousness by working on a newly constructed large-scale video dataset named Dance50k with self-supervised cross-frame training and an online cycle optimization. The proposed Dance50k can boost real-world virtual dressing by covering a wide variety of garments under dancing poses. Extensive experiments demonstrate the superiority of our wFlow in generating realistic garment transfer results for in-the-wild images without resorting to expensive paired datasets.
• Abstract（参考訳）: 人中心画像生成の最も適した方向である衣服の移動において、顕著な進展が見られたが、既存の作品では、被写体が重く、微妙なテクスチャの細部が顕著に劣化している。 そこで本論文は,現実の場面における仮想試行に参画し,特にゆるい服装(スカート,フォーマルな服装など),挑戦的なポーズ(クロスアーム,屈曲脚など),散らかった背景に,真正性や自然性に重要な改善をもたらす。 具体的には, ゆるい衣服を扱う場合の画素フローが優れているのに対して, 頂点フローは硬いポーズに好適であり, それらの利点を組み合わせることで, 衣服の移動を効果的に現場へ押し上げることのできる, wFlowと呼ばれる新しい生成ネットワークを提案する。 さらに、トレーニングにはペアイメージも必要だ。 代わりに、自己監督型クロスフレームトレーニングとオンラインサイクル最適化を備えた、新しく構築された大規模ビデオデータセットDance50kの開発によって、手間を削減しました。 提案されているdance50kは、ダンスポーズの下でさまざまな衣服を覆うことで、現実世界の仮想ドレッシングを促進することができる。 広範にわたる実験は、高価なペアデータセットを使わずに、野生画像のリアルな衣料品転送結果を生成する際のwflowの優位性を実証する。

関連論文リスト

• IMAGDressing-v1: Customizable Virtual Dressing [58.44155202253754]
  IMAGDressing-v1は、固定された衣服とオプション条件で自由に編集可能な人間の画像を生成する仮想ドレッシングタスクである。 IMAGDressing-v1は、CLIPのセマンティック特徴とVAEのテクスチャ特徴をキャプチャする衣料UNetを組み込んでいる。 本稿では,凍結自己注意とトレーニング可能なクロスアテンションを含むハイブリッドアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:26:30Z)
• GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon [5.790630195329777]
  衣服のフローにおけるコンテキストの価値を強調する新しいグラフベースのワープ手法を提案する。 提案手法は,VITON-HDとDresscodeのデータセットで検証され,衣服のワープ,テクスチャ保存,および全体リアリズムの大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-06-04T10:29:18Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• StableVITON: Learning Semantic Correspondence with Latent Diffusion Model for Virtual Try-On [35.227896906556026]
  衣服画像と人物画像が与えられた場合、画像ベースの仮想試行は、衣服画像の特徴を自然に正確に反映した、カスタマイズされた画像を生成することを目的としている。 本研究では,事前学習した拡散モデルの適用性を拡張し,仮想試行作業に独立して利用できるようにすることを目的とする。 提案するゼロ・クロスアテンションブロックは, 意味的対応を学習することで衣服の細部を保存できるだけでなく, ワープ過程における事前学習モデル固有の知識を利用して高忠実度画像を生成する。
  論文  参考訳（メタデータ） (2023-12-04T08:27:59Z)
• Fill in Fabrics: Body-Aware Self-Supervised Inpainting for Image-Based Virtual Try-On [3.5698678013121334]
  本稿では,FabricatorとSegmenter,Warper,Fuserから構成される自己教師型条件生成対向ネットワークベースのフレームワークを提案する。 布地は、仮装服を入力として設けたときに衣服イメージを再構築し、布地を充填して衣服の全体構造を学習する。 その後、仮想トライオンパイプラインは、学習した表現をFabricatorからWarperに転送して、ターゲットの服をワープして洗練させることでトレーニングされる。
  論文  参考訳（メタデータ） (2022-10-03T13:25:31Z)
• Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing [49.96406805006839]
  リアルな衣服の動態とリアルなデータから学んだフォトリアリスティックな外観の両方を示す衣服の明示的なモデリングを施したポーズ駆動アバターを紹介した。 我々の重要な貢献は物理的にインスパイアされた外観ネットワークであり、視界依存的かつダイナミックな影効果を持つ光リアルな外観を生成できる。
  論文  参考訳（メタデータ） (2022-06-30T17:58:20Z)
• Per Garment Capture and Synthesis for Real-time Virtual Try-on [15.128477359632262]
  既存の画像ベースワークは、ターゲット服の1つの画像から試着画像を合成しようとする。 ポーズや体の大きさの変化によるしわの変化を再現することは困難であり、衣服を手で引っ張ったり伸ばしたりすることは困難である。 そこで本研究では,このようなリッチなインタラクションを,多くのシステマティックな画像を用いてトレーニングすることで,衣服ごとのキャプチャと合成のワークフローを提案する。
  論文  参考訳（メタデータ） (2021-09-10T03:49:37Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)
• Single-Shot Freestyle Dance Reenactment [89.91619150027265]
  ソースダンサーと対象者との間の動き伝達のタスクは、ポーズ伝達問題の特別なケースである。 本稿では,任意の映像シーケンスで1つの画像を再識別できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-02T12:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。