論文の概要: Dress-1-to-3: Single Image to Simulation-Ready 3D Outfit with Diffusion Prior and Differentiable Physics

• arxiv url: http://arxiv.org/abs/2502.03449v1
• Date: Wed, 05 Feb 2025 18:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:21.758911
• Title: Dress-1-to-3: Single Image to Simulation-Ready 3D Outfit with Diffusion Prior and Differentiable Physics
• Title（参考訳）: Dress-1-to-3:Dffusion Prior and Differentiable Physicsによるシミュレーション可能な3D出力の単一画像化
• Authors: Xuan Li, Chang Yu, Wenxin Du, Ying Jiang, Tianyi Xie, Yunuo Chen, Yin Yang, Chenfanfu Jiang,
• Abstract要約: 本稿では,動的衣料アニメーションを用いた仮想試着などのアプリケーションにおいて重要な領域である3D衣料生成に焦点を当てた。 そこで我々はDress-1-to-3という新しいパイプラインを紹介した。
• 参考スコア（独自算出の注目度）: 27.697150953628572
• License:
• Abstract: Recent advances in large models have significantly advanced image-to-3D reconstruction. However, the generated models are often fused into a single piece, limiting their applicability in downstream tasks. This paper focuses on 3D garment generation, a key area for applications like virtual try-on with dynamic garment animations, which require garments to be separable and simulation-ready. We introduce Dress-1-to-3, a novel pipeline that reconstructs physics-plausible, simulation-ready separated garments with sewing patterns and humans from an in-the-wild image. Starting with the image, our approach combines a pre-trained image-to-sewing pattern generation model for creating coarse sewing patterns with a pre-trained multi-view diffusion model to produce multi-view images. The sewing pattern is further refined using a differentiable garment simulator based on the generated multi-view images. Versatile experiments demonstrate that our optimization approach substantially enhances the geometric alignment of the reconstructed 3D garments and humans with the input image. Furthermore, by integrating a texture generation module and a human motion generation module, we produce customized physics-plausible and realistic dynamic garment demonstrations. Project page: https://dress-1-to-3.github.io/
• Abstract（参考訳）: 近年の大型モデルでは、画像から3Dへの再構成が大幅に進歩している。 しかし、生成されたモデルは、しばしば1つのピースに融合され、下流タスクにおける適用性を制限する。 本稿では,動的衣料アニメーションを用いた仮想試着などの応用において重要な領域である3D衣料生成に焦点を当てた。 そこで我々はDress-1-to-3という新しいパイプラインを紹介した。 画像から始めると、粗い縫製パターンを生成するための事前学習された画像と縫製パターンの生成モデルと、事前学習された多視点拡散モデルを組み合わせることで、多視点画像を生成する。 さらに、生成された多視点画像に基づいて、識別可能な衣料シミュレータを用いて縫製パターンを洗練する。 バーサティカルな実験により、我々の最適化手法は、再構成された3次元衣服と入力画像による人間の幾何学的アライメントを大幅に向上することを示した。 さらに,テクスチャ生成モジュールと人体の動き生成モジュールを統合することで,物理に精通したリアルな動的衣料のデモンストレーションを行う。 プロジェクトページ: https://dress-1-to-3.github.io/

関連論文リスト

• Garment3DGen: 3D Garment Stylization and Texture Generation [11.836357439129301]
  Garment3DGenは、単一の入力イメージをガイダンスとして与えられたベースメッシュから3Dの衣服資産を合成する新しい方法である。 画像から3Dへの拡散手法の最近の進歩を生かして, 3次元の衣服測地を創出する。 我々は、グローバルかつ局所的に一貫した高忠実なテクスチャマップを生成し、入力ガイダンスを忠実にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-27T17:59:33Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Towards Garment Sewing Pattern Reconstruction from a Single Image [76.97825595711444]
  ガーメント縫製パターンは、衣服の本質的な休息形態を表しており、ファッションデザイン、バーチャルトライオン、デジタルアバターといった多くの用途のコアとなっている。 まず,SewFactoryという多目的データセットを合成した。 次に、縫製パターン予測性能を大幅に向上させるSewformerと呼ばれる2レベルトランスフォーマーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-11-07T18:59:51Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。