OmniFabric: Coherent UV Space Texture Synthesis for 3D Garment Reconstruction
Abstractの概要
OmniFabricは、単一の野生環境下の衣服画像から、2Dの型紙UV空間内でテクスチャを直接合成することにより、シミュレーション可能な衣服テクスチャを生成する手法です。本パイプラインはまず型紙と標準的な3D衣服を予測し、その幾何構造に合わせて入力衣服のポーズを整え、生成されたマルチビュー画像を用いて大域的に整合した粗いUVテクスチャマップを構築します。続いて、その粗テクスチャ、正面レンダリング画像、3D位置マップを条件とするDiffusion Transformerベースの正規化モデルを用いてマップを洗練します。衣服の大域的デザインや微細なディテールを維持しつつ、焼き付けられた照明、しわ、投影歪み、欠損領域を除去することを目的としています。
新規性
本論文の主な差別化要素は、衣服テクスチャの合成を、局所パッチ抽出や直接的な3Dペインティングから、標準的な型紙UV空間における大域的に整合した合成へとシフトさせた点です。VLMに基づくポーズ整合、動画モデルベースのマルチビュー補完、および自動生成された合成型紙データで訓練されたUV空間Diffusion Transformerを組み合わせています。
成果
本論文では、合成ベンチマークにおいてOmniFabricがFabricDiffusion、Paint3D、Hunyuan3D-2.0をLPIPS、SSIM、MS-SSIM、DISTS、CLIP-scoreで上回り、報告された最良値としてLPIPS 0.092、SSIM 0.868、MS-SSIM 0.905、DISTS 0.121、CLIP-s 0.963を達成したことが示されています。実画像を用いたユーザー評価でも、総合品質、忠実性、背面ビューの妥当性、大域的整合性においてOmniFabricが最上位に位置付けられました。追加分析では、UV空間正規化ステージが蓄積誤差を低減することや、オープンソースのバリアントでもデフォルト構成と同等の性能が得られることが示されています。
論文の注目点
- OmniFabricは、ドレープされた3Dジオメトリに直接ペイントするのではなく、型紙UV空間で衣服テクスチャを合成することで、歪みや焼き付けられた照明アーティファクトを回避しながら大域的なレイアウトを維持することを目指しています。
- 本手法は2段階のパイプラインを採用しており、ポーズ整合およびマルチビュー生成画像からの粗いテクスチャ初期化を行った後、粗テクスチャ、正面レンダリング、3D位置特徴を条件としたDiTベースのUV洗練を実行します。
- 実験により、合成データセットにおいて従来のベースラインよりも高い定量的性能を示し、実画像における人間の選好性も向上していることが確認され、アブレーションにより粗マップ、正面ビュー条件、位置マップの重要性が裏付けられています。