論文の概要: IPVTON: Image-based 3D Virtual Try-on with Image Prompt Adapter

• arxiv url: http://arxiv.org/abs/2501.15616v1
• Date: Sun, 26 Jan 2025 17:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:24.586587
• Title: IPVTON: Image-based 3D Virtual Try-on with Image Prompt Adapter
• Title（参考訳）: IPVTON: Image Prompt Adapterを用いた3D仮想トライオン
• Authors: Xiaojing Zhong, Zhonghua Wu, Xiaofeng Yang, Guosheng Lin, Qingyao Wu,
• Abstract要約: 人物と衣服を別々に描写した一対の画像が与えられた場合、画像ベースの仮想試行法は、人間の3次元モデルを再構築することを目的としている。 IPVTONは,新しい3次元仮想試行フレームワークである。
• 参考スコア（独自算出の注目度）: 64.03091978606952
• License:
• Abstract: Given a pair of images depicting a person and a garment separately, image-based 3D virtual try-on methods aim to reconstruct a 3D human model that realistically portrays the person wearing the desired garment. In this paper, we present IPVTON, a novel image-based 3D virtual try-on framework. IPVTON employs score distillation sampling with image prompts to optimize a hybrid 3D human representation, integrating target garment features into diffusion priors through an image prompt adapter. To avoid interference with non-target areas, we leverage mask-guided image prompt embeddings to focus the image features on the try-on regions. Moreover, we impose geometric constraints on the 3D model with a pseudo silhouette generated by ControlNet, ensuring that the clothed 3D human model retains the shape of the source identity while accurately wearing the target garments. Extensive qualitative and quantitative experiments demonstrate that IPVTON outperforms previous methods in image-based 3D virtual try-on tasks, excelling in both geometry and texture.
• Abstract（参考訳）: 人物と衣服を別々に描写した一対の画像が与えられた場合、画像に基づく仮想試着法は、希望する衣服を身に着けている人物を現実的に描写する3次元人体モデルを再構築することを目的としている。 本稿では,新しい画像ベースの仮想試行フレームワーク IPVTON を提案する。 IPVTONは、画像プロンプトを用いたスコア蒸留サンプリングを使用して、ハイブリッドな3次元人体表現を最適化し、画像プロンプトアダプタを介してターゲットの衣服特徴を拡散前処理に統合する。 非ターゲット領域への干渉を避けるため、マスク誘導画像プロンプト埋め込みを利用して試行領域に画像特徴を集中させる。 また,制御ネットが生成した擬似シルエットを用いて3次元モデルに幾何的制約を課し,被服を正確に着用しながら,被服の形状を確実に保持する。 IPVTONは画像ベースの3D仮想試行作業において従来の手法よりも優れており、幾何学とテクスチャの両方に優れていた。

関連論文リスト

• DreamVTON: Customizing 3D Virtual Try-on with Personalized Diffusion Models [56.55549019625362]
  画像ベースの3Dバーチャルトライオン(VTON)は、人や衣服の画像に基づいて3D人間を彫刻することを目的としている。 近年のテキスト・ツー・3D法は高忠実度3Dヒューマンジェネレーションにおいて顕著な改善を実現している。 我々は,3次元人間の形状とテクスチャを個別に最適化するために,textbfDreamVTONという新しい3次元人体試行モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-23T14:25:28Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Structured 3D Features for Reconstructing Controllable Avatars [43.36074729431982]
  パラメトリックな統計的メッシュ表面からサンプリングされた高密度な3次元点に画素整列画像特徴をプールする,新しい暗黙の3次元表現に基づくモデルであるStructured 3D Featuresを紹介する。 本研究では,S3Fモデルがモノクロ3D再構成やアルベド,シェーディング推定など,これまでの課題を超越していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T18:57:33Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition [39.312567993736025]
  本稿では,テキストのプロンプトに従って,与えられた3次元形状の外観スタイルをフォトリアリスティックな方法で転送するタンゴを提案する。 TANGOは,低品質メッシュのスタイリングにおいて,フォトリアリスティックな品質,3次元幾何の整合性,ロバスト性の観点から,既存のテキスト駆動型3Dスタイル転送法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T13:52:18Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations [81.45521258652734]
  本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。 提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:28:31Z)
• Learning to Transfer Texture from Clothing Images to 3D Humans [50.838970996234465]
  そこで本稿では,SMPL上着の3D衣服に衣料画像のテクスチャを自動的にリアルタイムに転送する手法を提案する。 まず, 高精度だが遅い3D-3D登録法を用いて, 整列した3D衣料を用いて, 画像のトレーニングペアを計算した。 我々のモデルは仮想試行のような応用への扉を開き、学習に必要な多様なテクスチャを持つ3D人間を作成できる。
  論文  参考訳（メタデータ） (2020-03-04T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。