論文の概要: Pattern Guided UV Recovery for Realistic Video Garment Texturing
- arxiv url: http://arxiv.org/abs/2407.10137v1
- Date: Sun, 14 Jul 2024 09:47:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 19:19:02.362598
- Title: Pattern Guided UV Recovery for Realistic Video Garment Texturing
- Title（参考訳）: リアルなビデオガーメントテクスチャのためのパターンガイドUVリカバリ
- Authors: Youyi Zhan, Tuanfeng Y. Wang, Tianjia Shao, Kun Zhou,
- Abstract要約: 本稿では,UVのパターンに基づくアプローチと,キャプチャした実映像からシェーディングリカバリを行い,衣服のテクスチャを自動的に置き換える手法を提案する。
本稿では,UVマッピングのジャコビアンに新たな損失を生じさせ,折りたたみ領域と閉塞領域の境界付近の快適なシームを創出する。
本実験では, 衣類の折り畳みや重ね合わせを著しく保存できるため, テクスチャの質素な代替効果を示す。
- 参考スコア（独自算出の注目度）: 32.759330693659514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fast growth of E-Commerce creates a global market worth USD 821 billion for online fashion shopping. What unique about fashion presentation is that, the same design can usually be offered with different cloths textures. However, only real video capturing or manual per-frame editing can be used for virtual showcase on the same design with different textures, both of which are heavily labor intensive. In this paper, we present a pattern-based approach for UV and shading recovery from a captured real video so that the garment's texture can be replaced automatically. The core of our approach is a per-pixel UV regression module via blended-weight multilayer perceptrons (MLPs) driven by the detected discrete correspondences from the cloth pattern. We propose a novel loss on the Jacobian of the UV mapping to create pleasant seams around the folding areas and the boundary of occluded regions while avoiding UV distortion. We also adopts the temporal constraint to ensure consistency and accuracy in UV prediction across adjacent frames. We show that our approach is robust to a variety type of clothes, in the wild illuminations and with challenging motions. We show plausible texture replacement results in our experiment, in which the folding and overlapping of the garment can be greatly preserved. We also show clear qualitative and quantitative improvement compared to the baselines as well. With the one-click setup, we look forward to our approach contributing to the growth of fashion E-commerce.
- Abstract（参考訳）: Eコマースの急速な成長は、オンラインファッションショッピングに821億ドルの価値がある世界的な市場を生み出している。
ファッションのプレゼンテーションでユニークなのは、同じデザインをさまざまな布のテクスチャで提供できることだ。
しかし、実際のビデオキャプチャや手動によるフレーム単位の編集のみが、同じデザインで異なるテクスチャを持つ仮想ショーケースに使用できる。
本稿では,UVのパターンに基づくアプローチと,キャプチャした実映像からシェーディングリカバリを行い,衣服のテクスチャを自動的に置き換える手法を提案する。
提案手法のコアは,検出された布パターンからの離散対応によって駆動される混合重層パーセプトロン(MLP)を介して,画素単位のUV回帰モジュールである。
本稿では,UVマッピングのジャコビアンに対する新たな損失を提案し,UV歪みを回避しつつ,折りたたみ領域と閉塞領域の境界付近に快適なシームを創出する。
また、隣接フレーム間の紫外線予測の整合性と精度を確保するため、時間的制約も採用する。
我々のアプローチは、野生の照明や挑戦的な動きなど、さまざまな種類の服に対して堅牢であることを示す。
本実験では, 衣類の折り畳みや重ね合わせを著しく保存できるため, テクスチャの質素な代替効果を示す。
また, ベースラインと比較して, 質的, 定量的な改善がみられた。
ワンクリックセットアップでは、ファッションEコマースの成長に寄与する私たちのアプローチを楽しみにしています。
関連論文リスト
- TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。
本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。
テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
論文 参考訳（メタデータ） (2024-11-22T05:22:11Z) - GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon [5.790630195329777]
衣服のフローにおけるコンテキストの価値を強調する新しいグラフベースのワープ手法を提案する。
提案手法は,VITON-HDとDresscodeのデータセットで検証され,衣服のワープ,テクスチャ保存,および全体リアリズムの大幅な改善を示す。
論文 参考訳（メタデータ） (2024-06-04T10:29:18Z) - Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing [79.10630153776759]
3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。
そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。
提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
論文 参考訳（メタデータ） (2024-03-15T06:42:55Z) - Texture Generation on 3D Meshes with Point-UV Diffusion [86.69672057856243]
本稿では, 粗い微細化パイプラインであるPoint-UV拡散モデルとUVマッピングを併用し, 高品質なテクスチャイメージをUV空間で生成する。
本手法は,任意の属のメッシュを処理し,多種多様で,幾何に適合し,高忠実度なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-21T06:20:54Z) - xCloth: Extracting Template-free Textured 3D Clothes from a Monocular
Image [4.056667956036515]
テンプレートフリーなテクスチャ3次元衣料デジタル化のための新しいフレームワークを提案する。
具体的には、PeledHuman表現を拡張して、ピクセルアライメント、階層化深度、セマンティックマップを予測することを提案する。
3つの公開データセットを用いて高忠実度3次元衣料の再構築を行い,インターネット画像上での一般化を行った。
論文 参考訳（メタデータ） (2022-08-27T05:57:00Z) - TemporalUV: Capturing Loose Clothing with Temporally Coherent UV
Coordinates [37.58323494348772]
本稿では,ゆるい衣服に対する時間的コヒーレントなUV座標を生成する新しい手法を提案する。
我々の手法は人体の輪郭に拘束されず、ゆるい衣服や髪を捕獲することができる。
論文 参考訳（メタデータ） (2022-04-07T18:00:32Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - DeepCloth: Neural Garment Representation for Shape and Style Editing [37.595804908189855]
我々はDeepClothと呼ばれる新しい手法を導入し、統一された衣服表現フレームワークを構築した。
我々のキーとなる考え方は「マスク付きUV配置マップ」による衣服形状の表現である。
上記のUV空間から連続的な特徴空間を学習し、衣服形状の編集と遷移を可能にする。
論文 参考訳（メタデータ） (2020-11-30T08:42:38Z) - MonoClothCap: Towards Temporally Coherent Clothing Capture from
Monocular RGB Video [10.679773937444445]
本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。
我々は,Tシャツ,ショートパンツ,ロングパンツの3種類の衣服の統計的変形モデルを構築した。
本手法は,モノクロ映像から身体と衣服の時間的コヒーレントな再構築を実現する。
論文 参考訳（メタデータ） (2020-09-22T17:54:38Z) - BCNet: Learning Body and Cloth Shape from A Single Image [56.486796244320125]
SMPL上には層状衣服表現が提案され,ボディメッシュとは独立に衣服のスキンウェイトを新たに作成する。
既存の手法と比較して,本手法はより多くの衣服カテゴリーをサポートし,より正確な形状を復元することができる。
論文 参考訳（メタデータ） (2020-04-01T03:41:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。