論文の概要: DiffHuman: Probabilistic Photorealistic 3D Reconstruction of Humans

• arxiv url: http://arxiv.org/abs/2404.00485v1
• Date: Sat, 30 Mar 2024 22:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:30:20.095635
• Title: DiffHuman: Probabilistic Photorealistic 3D Reconstruction of Humans
• Title（参考訳）: DiffHuman: 確率的フォトリアリスティックな人間の3D再構成
• Authors: Akash Sengupta, Thiemo Alldieck, Nikos Kolotouros, Enric Corona, Andrei Zanfir, Cristian Sminchisescu,
• Abstract要約: DiffHumanは1枚のRGB画像から3次元人物再構成を行う確率的手法である。 我々の実験は、DiffHumanが入力画像に見えない、あるいは不確実な人物のために、多種多様な詳細な再構成を作成できることを示している。
• 参考スコア（独自算出の注目度）: 38.8751809679184
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present DiffHuman, a probabilistic method for photorealistic 3D human reconstruction from a single RGB image. Despite the ill-posed nature of this problem, most methods are deterministic and output a single solution, often resulting in a lack of geometric detail and blurriness in unseen or uncertain regions. In contrast, DiffHuman predicts a probability distribution over 3D reconstructions conditioned on an input 2D image, which allows us to sample multiple detailed 3D avatars that are consistent with the image. DiffHuman is implemented as a conditional diffusion model that denoises pixel-aligned 2D observations of an underlying 3D shape representation. During inference, we may sample 3D avatars by iteratively denoising 2D renders of the predicted 3D representation. Furthermore, we introduce a generator neural network that approximates rendering with considerably reduced runtime (55x speed up), resulting in a novel dual-branch diffusion framework. Our experiments show that DiffHuman can produce diverse and detailed reconstructions for the parts of the person that are unseen or uncertain in the input image, while remaining competitive with the state-of-the-art when reconstructing visible surfaces.
• Abstract（参考訳）: DiffHumanは1枚のRGB画像から3次元人物を再現する確率論的手法である。 この問題の誤った性質にもかかわらず、ほとんどの手法は決定論的であり、単一の解を出力する。 対照的に、DiffHumanは入力された2D画像に条件付けられた3D再構成の確率分布を予測し、画像と整合した複数の詳細な3Dアバターをサンプリングすることができる。 DiffHumanは条件拡散モデルとして実装され、基礎となる3次元形状表現の画素配向2次元観察を識別する。 推測中、予測された3D表現の2Dレンダリングを反復的に復調することで、3Dアバターをサンプリングすることができる。 さらに,実行時間を大幅に短縮(55倍高速化)してレンダリングを近似するジェネレータニューラルネットワークを導入し,新たなデュアルブランチ拡散フレームワークを提案する。 我々の実験は、DiffHumanが入力画像に見えない、あるいは不確実な部分の多様かつ詳細な再構成を生成できることを示した。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Human 3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion Models [29.73743772971411]
  人間の3次元拡散: 明示的な3次元連続拡散による現実的なアバター創造を提案する。 我々の重要な洞察は、2次元多視点拡散と3次元再構成モデルが相互に補完情報を提供するということである。 提案するフレームワークは,最先端の手法より優れ,単一のRGB画像から現実的なアバターを作成することができる。
  論文  参考訳（メタデータ） (2024-06-12T17:57:25Z)
• Guess The Unseen: Dynamic 3D Scene Reconstruction from Partial 2D Glimpses [9.529416246409355]
  本研究では,モノクロ映像から世界と複数の動的人間を3次元に再構成する手法を提案する。 キーとなるアイデアとして、最近出現した3Dガウススプラッティング(3D-GS)表現を通じて、世界と複数の人間の両方を表現します。
  論文  参考訳（メタデータ） (2024-04-22T17:59:50Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SparseFusion: Distilling View-conditioned Diffusion for 3D Reconstruction [26.165314261806603]
  ニューラルレンダリングと確率的画像生成の最近の進歩を統一したスパースビュー3次元再構成手法であるスパースフュージョンを提案する。 既存のアプローチは、通常、再プロジェクションされた機能を持つニューラルレンダリングの上に構築されるが、目に見えない領域を生成したり、大きな視点の変化の下で不確実性に対処できない。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)
• EVA3D: Compositional 3D Human Generation from 2D Image Collections [27.70991135165909]
  EVA3Dは2次元画像のみから学習した無条件の3次元人体生成モデルである。 詳細な形状の3D人間をサンプリングし、鐘や笛を使わずに高品質な画像(最大512x256まで)をレンダリングすることができる。 テクスチャーとテクスチャ品質の両方に関して、最先端の3Dヒューマンジェネレーション性能を実現する。
  論文  参考訳（メタデータ） (2022-10-10T17:59:31Z)
• DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
  テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。 本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。 提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-29T17:50:40Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。