論文の概要: Generalizable Human Gaussians from Single-View Image

• arxiv url: http://arxiv.org/abs/2406.06050v3
• Date: Fri, 04 Oct 2024 03:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 10:37:20.837171
• Title: Generalizable Human Gaussians from Single-View Image
• Title（参考訳）: 単一視点画像からの一般人ガウス
• Authors: Jinnan Chen, Chen Li, Jianfeng Zhang, Lingting Zhu, Buzhen Huang, Hanlin Chen, Gim Hee Lee,
• Abstract要約: 単視点一般化可能なHuman Gaussian Model(HGM)を導入する。 提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。 非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
• 参考スコア（独自算出の注目度）: 52.100234836129786
• License:
• Abstract: In this work, we tackle the task of learning 3D human Gaussians from a single image, focusing on recovering detailed appearance and geometry including unobserved regions. We introduce a single-view generalizable Human Gaussian Model (HGM), which employs a novel generate-then-refine pipeline with the guidance from human body prior and diffusion prior. Our approach uses a ControlNet to refine rendered back-view images from coarse predicted human Gaussians, then uses the refined image along with the input image to reconstruct refined human Gaussians. To mitigate the potential generation of unrealistic human poses and shapes, we incorporate human priors from the SMPL-X model as a dual branch, propagating image features from the SMPL-X volume to the image Gaussians using sparse convolution and attention mechanisms. Given that the initial SMPL-X estimation might be inaccurate, we gradually refine it with our HGM model. We validate our approach on several publicly available datasets. Our method surpasses previous methods in both novel view synthesis and surface reconstruction. Our approach also exhibits strong generalization for cross-dataset evaluation and in-the-wild images.
• Abstract（参考訳）: 本研究では,1つの画像からヒト・ガウスを学習する作業に取り組み,未観測領域を含む詳細な外観や形状の復元に焦点をあてる。 本稿では,人体からの誘導と拡散を前もって行う新しい世代別パイプラインを用いた一視点一般化型ヒトガウスモデル(HGM)を提案する。 提案手法は制御ネットを用いて,粗い予測されたヒトガウスの背景画像の精細化を行い,その精細化画像と入力画像を用いて,精細化されたヒトガウスの再構築を行う。 非現実的な人間のポーズや形状の潜在的な発生を緩和するため、SMPL-Xモデルからの人間の事前情報を二重分岐として組み込んで、スパース畳み込みとアテンション機構を用いて、SMPL-Xボリュームから画像ガウスへの画像特徴の伝播を行う。 初期SMPL-X推定が不正確である可能性を考えると、HGMモデルで徐々に洗練していく。 いくつかの公開データセットに対して、我々のアプローチを検証する。 本手法は,新しいビュー合成法と表面再構成法の両方において,従来の手法を超越した手法である。 また,提案手法は,クロスデータセット評価や画像の高速化にも有効である。

関連論文リスト

• HFGaussian: Learning Generalizable Gaussian Human with Integrated Human Features [23.321087432786605]
  HFGaussianと呼ばれる新しいアプローチでは、25FPSでスパルス入力画像から3Dスケルトン、3Dキーポイント、高密度ポーズなどの新しいビューや人間の特徴をリアルタイムで推定できる。 我々は,HFGaussの手法をヒトガウススプラッティングにおける最新の最先端技術に対して徹底的に評価し,そのリアルタイム,最先端性能を示す。
  論文  参考訳（メタデータ） (2024-11-05T13:31:04Z)
• EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Camera Settings [11.248908608011941]
  EVA-Gaussianは、多様なカメラ設定にまたがる3D人間の新しいビュー合成のためのリアルタイムパイプラインである。 本稿では,ソース画像から各3次元ガウスの位置を正確に推定するために,EVA (Efficient Cross-View Attention) モジュールを提案する。 我々は3次元ガウス属性と人間の顔のランドマークの両方に強力なアンカー損失関数を組み込んだ。
  論文  参考訳（メタデータ） (2024-10-02T11:23:08Z)
• Generalizable Human Gaussians for Sparse View Synthesis [48.47812125126829]
  そこで本研究では,光写実的かつ正確な視線レンダリングを可能にする,一般化可能なヒトガウシアンを学習するための新しい手法を提案する。 このアプローチの重要な革新は、3次元ガウスパラメータの学習を、人間のテンプレートの2次元UV空間上で定義された回帰プロセスに再構成することである。 提案手法は,データ内一般化とクロスデータセット一般化設定の両方において,最近の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-17T17:56:30Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
  本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
  論文  参考訳（メタデータ） (2024-01-22T18:08:22Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
  本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。 既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
  論文  参考訳（メタデータ） (2023-11-22T14:00:23Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。