論文の概要: Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM

• arxiv url: http://arxiv.org/abs/2401.12175v2
• Date: Thu, 14 Mar 2024 08:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 01:42:38.597781
• Title: Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM
• Title（参考訳）: 拡散誘導LDMを用いたテンプレートフリー単眼3次元デジタル化
• Authors: Zhenzhen Weng, Jingyuan Liu, Hao Tan, Zhan Xu, Yang Zhou, Serena Yeung-Levy, Jimei Yang,
• Abstract要約: 本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
• 参考スコア（独自算出の注目度）: 29.13412037370585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D humans from a single image has been extensively investigated. However, existing approaches often fall short on capturing fine geometry and appearance details, hallucinating occluded parts with plausible details, and achieving generalization across unseen and in-the-wild datasets. We present Human-LRM, a diffusion-guided feed-forward model that predicts the implicit field of a human from a single image. Leveraging the power of the state-of-the-art reconstruction model (i.e., LRM) and generative model (i.e Stable Diffusion), our method is able to capture human without any template prior, e.g., SMPL, and effectively enhance occluded parts with rich and realistic details. Our approach first uses a single-view LRM model with an enhanced geometry decoder to get the triplane NeRF representation. The novel view renderings from the triplane NeRF provide strong geometry and color prior, from which we generate photo-realistic details for the occluded parts using a diffusion model. The generated multiple views then enable reconstruction with high-quality geometry and appearance, leading to superior overall performance comparing to all existing human reconstruction methods.
• Abstract（参考訳）: 1枚の画像から3次元の人間を復元する手法が広く研究されている。 しかし、既存のアプローチは、細かな幾何学や外観の詳細を捉えたり、隠蔽された部分を可視的な詳細で幻覚化したり、目に見えないデータセットやその内部のデータセットにまたがる一般化を達成したりするのに不足することが多い。 本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 現状の復元モデル(LRM)と生成モデル(Stable Diffusion)の力を生かして,従来のテンプレートを使わずに人体を捕捉し,リッチでリアルなディテールで閉塞部を効果的に強化することができる。 提案手法はまず,拡張幾何デコーダを用いた単一ビューLEMモデルを用いて,三面体NeRF表現を得る。 三面体NeRFからの新たなビューレンダリングは、強い幾何学と色を先行して提供し、そこから拡散モデルを用いて、隠蔽された部分のフォトリアリスティックな詳細を生成する。 生成された複数のビューにより、高品質な幾何学と外観で再構築が可能となり、既存のすべての再構築方法と比較して全体的なパフォーマンスが向上する。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• PSHuman: Photorealistic Single-view Human Reconstruction using Cross-Scale Diffusion [43.850899288337025]
  PSHumanは、マルチビュー拡散モデルから事前情報を利用した人間のメッシュを明示的に再構築する新しいフレームワークである。 単視点の人間の画像に直接多視点拡散を適用すると、厳密な幾何学的歪みが生じることが判明した。 そこで我々は, SMPL-Xのようなパラメトリックモデルを用いて, 人間のポーズの断面形状の整合性を高めるために, 生成モデルを定式化した。
  論文  参考訳（メタデータ） (2024-09-16T10:13:06Z)
• MagicMan: Generative Novel View Synthesis of Humans with 3D-Aware Diffusion and Iterative Refinement [23.707586182294932]
  単一画像再構成における既存の作業は、訓練データ不足や総合的な多視点知識の欠如による3次元不整合により、弱い一般化性に悩まされている。 単一の参照画像から高品質な新規ビュー画像を生成するために設計された,人間固有の多視点拡散モデルであるMagicManを紹介する。
  論文  参考訳（メタデータ） (2024-08-26T12:10:52Z)
• Generalizable Human Gaussians from Single-View Image [52.100234836129786]
  単視点一般化可能なHuman Gaussian Model(HGM)を導入する。 提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。 非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
  論文  参考訳（メタデータ） (2024-06-10T06:38:11Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors [24.05480789681139]
  本研究では,2次元拡散モデルから一般的な画像の事前処理が可能な単一視点NeRF合成フレームワークNeRDiを提案する。 市販の視覚言語モデルを活用し、拡散モデルに条件付け入力として2節言語ガイダンスを導入する。 In-the-wild画像に対するゼロショットNeRF合成における一般化可能性も示す。
  論文  参考訳（メタデータ） (2022-12-06T19:00:07Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。