論文の概要: Human 3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion Models
- arxiv url: http://arxiv.org/abs/2406.08475v1
- Date: Wed, 12 Jun 2024 17:57:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 15:27:35.113032
- Title: Human 3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion Models
- Title（参考訳）: 人間の3次元拡散: 明示的な3次元連続拡散モデルによる現実的なアバター生成
- Authors: Yuxuan Xue, Xianghui Xie, Riccardo Marin, Gerard Pons-Moll,
- Abstract要約: 人間の3次元拡散: 明示的な3次元連続拡散による現実的なアバター創造を提案する。
我々の重要な洞察は、2次元多視点拡散と3次元再構成モデルが相互に補完情報を提供するということである。
提案するフレームワークは,最先端の手法より優れ,単一のRGB画像から現実的なアバターを作成することができる。
- 参考スコア（独自算出の注目度）: 29.73743772971411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating realistic avatars from a single RGB image is an attractive yet challenging problem. Due to its ill-posed nature, recent works leverage powerful prior from 2D diffusion models pretrained on large datasets. Although 2D diffusion models demonstrate strong generalization capability, they cannot provide multi-view shape priors with guaranteed 3D consistency. We propose Human 3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion. Our key insight is that 2D multi-view diffusion and 3D reconstruction models provide complementary information for each other, and by coupling them in a tight manner, we can fully leverage the potential of both models. We introduce a novel image-conditioned generative 3D Gaussian Splats reconstruction model that leverages the priors from 2D multi-view diffusion models, and provides an explicit 3D representation, which further guides the 2D reverse sampling process to have better 3D consistency. Experiments show that our proposed framework outperforms state-of-the-art methods and enables the creation of realistic avatars from a single RGB image, achieving high-fidelity in both geometry and appearance. Extensive ablations also validate the efficacy of our design, (1) multi-view 2D priors conditioning in generative 3D reconstruction and (2) consistency refinement of sampling trajectory via the explicit 3D representation. Our code and models will be released on https://yuxuan-xue.com/human-3diffusion.
- Abstract（参考訳）: 1枚のRGB画像からリアルなアバターを作るのは、魅力的だが難しい問題だ。
その不適切な性質のため、最近の研究は、大規模なデータセットで事前訓練された2次元拡散モデルから強力に事前に活用されている。
2次元拡散モデルは強力な一般化能力を示すが、3次元整合性を保証するマルチビュー形状の先行を提供することはできない。
人間の3次元拡散: 明示的な3次元連続拡散による現実的なアバター創造を提案する。
我々の重要な洞察は、2次元多視点拡散と3次元再構成モデルが相互に相補的な情報を提供し、それらを密結合することで、両方のモデルの可能性を完全に活用できるということである。
本研究では,2次元多視点拡散モデルから先行情報を活用する新しい画像条件生成3次元ガウスプラッツ再構成モデルを導入し,より優れた3次元整合性を持つように2次元逆サンプリングプロセスをガイドする明示的な3次元表現を提供する。
実験により,提案手法は最先端の手法より優れ,単一のRGB画像から現実的なアバターを作成でき,幾何学と外観の両面で高い忠実性が得られることが示された。
また, 多視点2次元事前条件付けによる生成3次元再構成, 2) 明示的な3次元表現によるサンプリング軌道の整合性向上, などにより, 設計の有効性が検証された。
私たちのコードとモデルはhttps://yuxuan-xue.com/ Human-3diffusion.comでリリースされます。
関連論文リスト
- DiffSplat: Repurposing Image Diffusion Models for Scalable Gaussian Splat Generation [33.62074896816882]
DiffSplatは,大規模テキスト・画像拡散モデルを用いて3次元ガウススプラットを生成する新しい3次元生成フレームワークである。
従来の3D生成モデルと異なり、Webスケールの2D事前を効果的に活用しつつ、統一モデルにおける3D一貫性を維持している。
これらの格子上の正規拡散損失と合わせて、3Dレンダリング損失を導入し、任意のビューの3Dコヒーレンスを促進する。
論文 参考訳（メタデータ） (2025-01-28T07:38:59Z) - Zero-1-to-G: Taming Pretrained 2D Diffusion Model for Direct 3D Generation [66.75243908044538]
我々は,事前学習した2次元拡散モデルを用いたガウススプラット上での3次元直接生成手法であるZero-1-to-Gを導入する。
3D認識を取り入れるために,複雑な相関関係を捉え,生成されたスプラット間の3D一貫性を強制する,クロスビュー層とクロスアトリビュートアテンション層を導入する。
これにより、Zero-1-to-Gは、事前訓練された2D拡散前処理を効果的に活用する最初の直接画像から3D生成モデルとなり、効率的なトレーニングと未確認物体への一般化が実現された。
論文 参考訳（メタデータ） (2025-01-09T18:37:35Z) - 3D$^2$-Actor: Learning Pose-Conditioned 3D-Aware Denoiser for Realistic Gaussian Avatar Modeling [37.11454674584874]
ポーズ条件付き3D対応ヒューマンモデリングパイプラインである3D$2$-Actorを導入する。
実験により、3D$2$-アクターは高忠実度アバターモデリングにおいて優れ、新しいポーズに頑健に一般化することを示した。
論文 参考訳（メタデータ） (2024-12-16T09:37:52Z) - DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。
実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
論文 参考訳（メタデータ） (2024-12-11T07:32:17Z) - Gen-3Diffusion: Realistic Image-to-3D Generation via 2D & 3D Diffusion Synergy [29.73743772971411]
Gen-3Diffusion: Realistic Image-to-3D Generation via 2D and 3D Diffusion Synergyを提案する。
事前学習した2次元拡散モデルと3次元拡散モデルをエレガントに設計したプロセスを通じて活用する。
提案手法は,高忠実度な形状とテクスチャを持つ現実的な3Dオブジェクトとアバターを生成する。
論文 参考訳（メタデータ） (2024-12-09T17:44:42Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2024-03-14T07:39:59Z) - GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。
3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。
本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
論文 参考訳（メタデータ） (2023-10-12T17:22:24Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳（メタデータ） (2023-03-29T07:35:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。