論文の概要: Product-Level Try-on: Characteristics-preserving Try-on with Realistic Clothes Shading and Wrinkles

• arxiv url: http://arxiv.org/abs/2401.11239v1
• Date: Sat, 20 Jan 2024 14:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 17:17:23.520610
• Title: Product-Level Try-on: Characteristics-preserving Try-on with Realistic Clothes Shading and Wrinkles
• Title（参考訳）: 製品レベルのトライオン:リアルな衣服シェーディングとしわを備えた特性保存トライオン
• Authors: Yanlong Zang, Han Yang, Jiaxu Miao, Yi Yang
• Abstract要約: 現実的な衣服の陰影やしわを発生させながら,ロゴや刺青の細かな細部を保存できる新しい拡散型製品レベルの仮想試行パイプライン,ie PLTONを提案する。 PLTONは、従来のワープネットワークでポーズするターゲットモデルにインショップ服をワープし、ハイパスフィルタを使用して静的な布の特徴を保存するためのHF-Mapを抽出する。 1024 768データセットの大規模な定量および定性的実験は、実際の衣服のダイナミクスを模倣する上で、我々のフレームワークの優位性を実証している。
• 参考スコア（独自算出の注目度）: 28.40312452732804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based virtual try-on systems,which fit new garments onto human portraits,are gaining research attention.An ideal pipeline should preserve the static features of clothes(like textures and logos)while also generating dynamic elements(e.g.shadows,folds)that adapt to the model's pose and environment.Previous works fail specifically in generating dynamic features,as they preserve the warped in-shop clothes trivially with predicted an alpha mask by composition.To break the dilemma of over-preserving and textures losses,we propose a novel diffusion-based Product-level virtual try-on pipeline,\ie PLTON, which can preserve the fine details of logos and embroideries while producing realistic clothes shading and wrinkles.The main insights are in three folds:1)Adaptive Dynamic Rendering:We take a pre-trained diffusion model as a generative prior and tame it with image features,training a dynamic extractor from scratch to generate dynamic tokens that preserve high-fidelity semantic information. Due to the strong generative power of the diffusion prior,we can generate realistic clothes shadows and wrinkles.2)Static Characteristics Transformation: High-frequency Map(HF-Map)is our fundamental insight for static representation.PLTON first warps in-shop clothes to the target model pose by a traditional warping network,and uses a high-pass filter to extract an HF-Map for preserving static cloth features.The HF-Map is used to generate modulation maps through our static extractor,which are injected into a fixed U-net to synthesize the final result.To enhance retention,a Two-stage Blended Denoising method is proposed to guide the diffusion process for correct spatial layout and color.PLTON is finetuned only with our collected small-size try-on dataset.Extensive quantitative and qualitative experiments on 1024 768 datasets demonstrate the superiority of our framework in mimicking real clothes dynamics.
• Abstract（参考訳）: Image-based virtual try-on systems,which fit new garments onto human portraits,are gaining research attention.An ideal pipeline should preserve the static features of clothes(like textures and logos)while also generating dynamic elements(e.g.shadows,folds)that adapt to the model's pose and environment.Previous works fail specifically in generating dynamic features,as they preserve the warped in-shop clothes trivially with predicted an alpha mask by composition.To break the dilemma of over-preserving and textures losses,we propose a novel diffusion-based Product-level virtual try-on pipeline,\ie PLTON, which can preserve the fine details of logos and embroideries while producing realistic clothes shading and wrinkles.The main insights are in three folds:1)Adaptive Dynamic Rendering:We take a pre-trained diffusion model as a generative prior and tame it with image features,training a dynamic extractor from scratch to generate dynamic tokens that preserve high-fidelity semantic information. Due to the strong generative power of the diffusion prior,we can generate realistic clothes shadows and wrinkles.2)Static Characteristics Transformation: High-frequency Map(HF-Map)is our fundamental insight for static representation.PLTON first warps in-shop clothes to the target model pose by a traditional warping network,and uses a high-pass filter to extract an HF-Map for preserving static cloth features.The HF-Map is used to generate modulation maps through our static extractor,which are injected into a fixed U-net to synthesize the final result.To enhance retention,a Two-stage Blended Denoising method is proposed to guide the diffusion process for correct spatial layout and color.PLTON is finetuned only with our collected small-size try-on dataset.Extensive quantitative and qualitative experiments on 1024 768 datasets demonstrate the superiority of our framework in mimicking real clothes dynamics.

関連論文リスト

• Improving Virtual Try-On with Garment-focused Diffusion Models [91.95830983115474]
  拡散モデルは多くの画像合成タスクにおける生成的モデリングの革新をもたらした。 私たちは新しい拡散モデル、すなわちGarDiffを作り、衣服中心の拡散プロセスを引き起こします。 VITON-HDおよびDressCodeデータセットの実験は、最先端のVTONアプローチと比較して、GarDiffの優位性を示している。
  論文  参考訳（メタデータ） (2024-09-12T17:55:11Z)
• GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon [5.790630195329777]
  衣服のフローにおけるコンテキストの価値を強調する新しいグラフベースのワープ手法を提案する。 提案手法は,VITON-HDとDresscodeのデータセットで検証され,衣服のワープ,テクスチャ保存,および全体リアリズムの大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-06-04T10:29:18Z)
• Texture-Preserving Diffusion Models for High-Fidelity Virtual Try-On [29.217423805933727]
  拡散モデルに基づくアプローチは,画像合成タスクに優れており,近年普及している。 本稿では,仮想試行のためのテクスチャ保存拡散(TPD)モデルを提案する。 第2に,被写体と参照衣料画像に基づいて,正確な塗布マスクを推定する拡散に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T12:43:22Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details [66.74088288846491]
  HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。 我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
  論文  参考訳（メタデータ） (2023-03-20T16:07:02Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Compressible-composable NeRF via Rank-residual Decomposition [21.92736190195887]
  ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンをリアルにレンダリングするための魅力的な方法として登場した。 本稿では,モデルの効率的かつ便利な操作を可能にするニューラル表現を提案する。 提案手法は,圧縮と合成の余分な能力を実現しつつ,最先端の手法に匹敵するレンダリング品質を実現することができる。
  論文  参考訳（メタデータ） (2022-05-30T06:18:59Z)
• Arbitrary Virtual Try-On Network: Characteristics Preservation and Trade-off between Body and Clothing [85.74977256940855]
  本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。 AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。 提案手法は,最先端の仮想試行法と比較して性能が向上する。
  論文  参考訳（メタデータ） (2021-11-24T08:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。