論文の概要: DiffLocks: Generating 3D Hair from a Single Image using Diffusion Models

• arxiv url: http://arxiv.org/abs/2505.06166v1
• Date: Fri, 09 May 2025 16:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.335083
• Title: DiffLocks: Generating 3D Hair from a Single Image using Diffusion Models
• Title（参考訳）: DiffLocks:拡散モデルを用いた単一画像から3Dヘアを生成する
• Authors: Radu Alexandru Rosu, Keyu Wu, Yao Feng, Youyi Zheng, Michael J. Black,
• Abstract要約: DiffLocksは,単一画像から直接,多様なヘアスタイルの再構築を可能にする新しいフレームワークである。 まず,40Kのヘアスタイルを含む最大合成ヘアデータセットの作成を自動化することで,3Dヘアデータの欠如に対処する。 予め訓練した画像バックボーンを用いることで,合成データのみを訓練しながら,画像の幅内への一般化を行う。
• 参考スコア（独自算出の注目度）: 53.08138861924767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the task of generating 3D hair geometry from a single image, which is challenging due to the diversity of hairstyles and the lack of paired image-to-3D hair data. Previous methods are primarily trained on synthetic data and cope with the limited amount of such data by using low-dimensional intermediate representations, such as guide strands and scalp-level embeddings, that require post-processing to decode, upsample, and add realism. These approaches fail to reconstruct detailed hair, struggle with curly hair, or are limited to handling only a few hairstyles. To overcome these limitations, we propose DiffLocks, a novel framework that enables detailed reconstruction of a wide variety of hairstyles directly from a single image. First, we address the lack of 3D hair data by automating the creation of the largest synthetic hair dataset to date, containing 40K hairstyles. Second, we leverage the synthetic hair dataset to learn an image-conditioned diffusion-transfomer model that generates accurate 3D strands from a single frontal image. By using a pretrained image backbone, our method generalizes to in-the-wild images despite being trained only on synthetic data. Our diffusion model predicts a scalp texture map in which any point in the map contains the latent code for an individual hair strand. These codes are directly decoded to 3D strands without post-processing techniques. Representing individual strands, instead of guide strands, enables the transformer to model the detailed spatial structure of complex hairstyles. With this, DiffLocks can recover highly curled hair, like afro hairstyles, from a single image for the first time. Data and code is available at https://radualexandru.github.io/difflocks/
• Abstract（参考訳）: ヘアスタイルの多様性と3Dヘアデータのペア化が欠如していることから, 1枚の画像から3Dヘア形状を生成するという課題に対処する。 従来の方法は、主に合成データに基づいて訓練され、ガイドストランドや頭皮レベルの埋め込みのような低次元の中間表現を用いて、デコード、アップサンプリング、リアリズムを追加するために後処理を必要とする、限られた量のデータを扱う。 これらのアプローチは、詳細な毛髪の再構築、巻き毛との闘い、または数種類の毛髪に限られる。 これらの制約を克服するために,1つの画像から直接,多様なヘアスタイルの詳細な再構築を可能にする新しいフレームワークDiffLocksを提案する。 まず,40Kのヘアスタイルを含む最大合成ヘアデータセットの作成を自動化することで,3Dヘアデータの欠如に対処する。 次に, 合成毛髪データセットを用いて, 単一の正面画像から正確な3次元ストランドを生成する画像条件拡散-遷移モデルについて学習する。 予め訓練した画像バックボーンを用いることで,合成データのみを訓練しながら,画像の幅内への一般化を行う。 我々の拡散モデルでは,各ヘアストランドの潜在コードを含む地図上の任意の点を含む頭皮テクスチャマップが予測される。 これらのコードは、後処理技術なしで直接3Dストランドにデコードされる。 ガイドストランドの代わりに個々のストランドを表現することで、トランスフォーマーは複雑なヘアスタイルの詳細な空間構造をモデル化することができる。 これによってDiffLocksは、アフロのヘアスタイルのように、硬化した毛髪を初めて単一の画像から回収できる。 データとコードはhttps://radualexandru.github.io/difflocks/で入手できる。

関連論文リスト

• Towards Unified 3D Hair Reconstruction from Single-View Portraits [27.404011546957104]
  そこで本研究では,統一パイプラインによるヘアタイプの一視点3D再構成を実現するための新しい手法を提案する。 本実験は, 単一視像からの編み型3次元毛髪と非編み型3次元毛髪の再構築が可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-25T12:21:31Z)
• Perm: A Parametric Representation for Multi-Style 3D Hair Modeling [22.790597419351528]
  Permは、さまざまな毛髪関連の応用を促進するために設計された人間の3D毛髪のパラメトリック表現である。 ヘアテクスチャを低周波・高周波ヘア構造に適合・分解するために,我々のストランド表現を活用している。
  論文  参考訳（メタデータ） (2024-07-28T10:05:11Z)
• HAAR: Text-Conditioned Generative Model of 3D Strand-based Human Hairstyles [85.12672855502517]
  そこで本研究では,3次元ヘアスタイルのための新しいストランドベース生成モデルであるHAARについて紹介する。 テキスト入力に基づいて、HAARは現代のコンピュータグラフィックスエンジンで生産レベルの資産として使用できる3Dヘアスタイルを生成する。
  論文  参考訳（メタデータ） (2023-12-18T19:19:32Z)
• HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for Single-View 3D Hair Modeling [55.57803336895614]
  学習型単一視点3Dヘアモデリングの課題に対処する。 まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。 HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
  論文  参考訳（メタデータ） (2023-03-05T15:28:13Z)
• PeRFception: Perception using Radiance Fields [72.99583614735545]
  私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。 元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。 この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:32:46Z)
• i3DMM: Deep Implicit 3D Morphable Model of Human Heads [115.19943330455887]
  本報告では,頭部の3次元形態素モデル(i3DMM)について述べる。 顔の形状、テクスチャ、表情を識別するだけでなく、髪を含む頭部全体をモデル化する。 アブレーション研究,最先端モデルとの比較,セマンティックヘッド編集やテクスチャ転送などの応用を用いて,i3DMMの利点を示す。
  論文  参考訳（メタデータ） (2020-11-28T15:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。