論文の概要: MVD-HuGaS: Human Gaussians from a Single Image via 3D Human Multi-view Diffusion Prior

• arxiv url: http://arxiv.org/abs/2503.08218v1
• Date: Tue, 11 Mar 2025 09:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:43:26.199339
• Title: MVD-HuGaS: Human Gaussians from a Single Image via 3D Human Multi-view Diffusion Prior
• Title（参考訳）: MVD-HuGaS:3次元多視点拡散による単一画像からの人間のガウス
• Authors: Kaiqiang Xiong, Ying Feng, Qi Zhang, Jianbo Jiao, Yang Zhao, Zhihao Liang, Huachen Gao, Ronggang Wang,
• Abstract要約: EmphMVD-HuGaSは,複数視点の人体拡散モデルを用いて,単一の画像から自由視点の3Dレンダリングを可能にする。 T Human2.0と2K2Kデータセットの実験により、提案されたMVD-HuGaSは、単一ビューの3Dレンダリングで最先端のパフォーマンスを達成することが示された。
• 参考スコア（独自算出の注目度）: 35.704591162502375
• License:
• Abstract: 3D human reconstruction from a single image is a challenging problem and has been exclusively studied in the literature. Recently, some methods have resorted to diffusion models for guidance, optimizing a 3D representation via Score Distillation Sampling(SDS) or generating one back-view image for facilitating reconstruction. However, these methods tend to produce unsatisfactory artifacts (\textit{e.g.} flattened human structure or over-smoothing results caused by inconsistent priors from multiple views) and struggle with real-world generalization in the wild. In this work, we present \emph{MVD-HuGaS}, enabling free-view 3D human rendering from a single image via a multi-view human diffusion model. We first generate multi-view images from the single reference image with an enhanced multi-view diffusion model, which is well fine-tuned on high-quality 3D human datasets to incorporate 3D geometry priors and human structure priors. To infer accurate camera poses from the sparse generated multi-view images for reconstruction, an alignment module is introduced to facilitate joint optimization of 3D Gaussians and camera poses. Furthermore, we propose a depth-based Facial Distortion Mitigation module to refine the generated facial regions, thereby improving the overall fidelity of the reconstruction.Finally, leveraging the refined multi-view images, along with their accurate camera poses, MVD-HuGaS optimizes the 3D Gaussians of the target human for high-fidelity free-view renderings. Extensive experiments on Thuman2.0 and 2K2K datasets show that the proposed MVD-HuGaS achieves state-of-the-art performance on single-view 3D human rendering.
• Abstract（参考訳）: 単一画像からの3次元再構成は難しい問題であり、文献でのみ研究されている。 近年, 誘導のための拡散モデル, スコア蒸留サンプリング(SDS)による3次元表現の最適化, あるいは再構成を容易にする1つのバックビュー画像を生成する手法が提案されている。 しかしながら、これらの手法は不満足な人工物(\textit{e g } 平らな人間の構造や、複数の視点からの矛盾した先行性に起因する過度に平滑な結果)を生み出し、野生の現実世界の一般化に苦しむ傾向にある。 本研究では,複数視点のヒト拡散モデルを用いて,単一の画像から自由視点の3Dレンダリングを可能にする,emph{MVD-HuGaS}を提案する。 我々はまず,高画質な3次元人文データセットに基づいて微調整された多視点拡散モデルを用いて,単一の参照画像から多視点画像を生成する。 再構成のためのスパース生成多視点画像から正確なカメラポーズを推定するために、3Dガウスとカメラポーズの協調最適化を容易にするアライメントモジュールを導入する。 さらに, 顔領域を改良し, 全体の忠実度を向上させるための深度に基づく顔歪み軽減モジュールを提案し, 改良されたマルチビュー画像と正確なカメラポーズを利用して, MVD-HuGaSは, 高忠実度フリービューレンダリングのために, 対象人の3Dガウスを最適化する。 T Human2.0と2K2Kデータセットの大規模な実験により、提案されたMVD-HuGaSは、単一のビューの人間のレンダリングで最先端のパフォーマンスを達成することが示された。

関連論文リスト

• HuGDiffusion: Generalizable Single-Image Human Rendering via 3D Gaussian Diffusion [50.02316409061741]
  HuGDiffusionは、シングルビュー入力画像から人間の文字の新しいビュー合成(NVS)を実現するための学習パイプラインである。 本研究では,1つの画像から抽出したヒトの事前情報に基づいて,拡散に基づくフレームワークを用いて3DGS属性の集合を生成することを目的とする。 我々のHuGDiffusionは最先端の手法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2025-01-25T01:00:33Z)
• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• MagicMan: Generative Novel View Synthesis of Humans with 3D-Aware Diffusion and Iterative Refinement [23.707586182294932]
  単一画像再構成における既存の作業は、訓練データ不足や総合的な多視点知識の欠如による3次元不整合により、弱い一般化性に悩まされている。 単一の参照画像から高品質な新規ビュー画像を生成するために設計された,人間固有の多視点拡散モデルであるMagicManを紹介する。
  論文  参考訳（メタデータ） (2024-08-26T12:10:52Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
  本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
  論文  参考訳（メタデータ） (2024-01-22T18:08:22Z)
• MVHuman: Tailoring 2D Diffusion with Multi-view Sampling For Realistic 3D Human Generation [45.88714821939144]
  テキスト誘導から人間の放射界を生成するためのMVHumanという代替スキームを提案する。 我々のコアは、一貫したマルチビュー画像を生成するための事前学習されたネットワークのデノイングプロセスを調整するためのマルチビューサンプリング戦略である。
  論文  参考訳（メタデータ） (2023-12-15T11:56:26Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
  SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。 本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
  論文  参考訳（メタデータ） (2023-03-22T17:59:12Z)
• NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors [24.05480789681139]
  本研究では,2次元拡散モデルから一般的な画像の事前処理が可能な単一視点NeRF合成フレームワークNeRDiを提案する。 市販の視覚言語モデルを活用し、拡散モデルに条件付け入力として2節言語ガイダンスを導入する。 In-the-wild画像に対するゼロショットNeRF合成における一般化可能性も示す。
  論文  参考訳（メタデータ） (2022-12-06T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。