論文の概要: 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models
- arxiv url: http://arxiv.org/abs/2403.11111v1
- Date: Sun, 17 Mar 2024 06:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 18:35:30.763044
- Title: 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models
- Title(参考訳): 生成モデルを用いた人工データを用いた野生の3次元復元
- Authors: Yongtao Ge, Wenjia Wang, Yongfan Chen, Hao Chen, Chunhua Shen,
- Abstract要約: 本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
- 参考スコア(独自算出の注目度): 52.96248836582542
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this work, we show that synthetic data created by generative models is complementary to computer graphics (CG) rendered data for achieving remarkable generalization performance on diverse real-world scenes for 3D human pose and shape estimation (HPS). Specifically, we propose an effective approach based on recent diffusion models, termed HumanWild, which can effortlessly generate human images and corresponding 3D mesh annotations. We first collect a large-scale human-centric dataset with comprehensive annotations, e.g., text captions and surface normal images. Then, we train a customized ControlNet model upon this dataset to generate diverse human images and initial ground-truth labels. At the core of this step is that we can easily obtain numerous surface normal images from a 3D human parametric model, e.g., SMPL-X, by rendering the 3D mesh onto the image plane. As there exists inevitable noise in the initial labels, we then apply an off-the-shelf foundation segmentation model, i.e., SAM, to filter negative data samples. Our data generation pipeline is flexible and customizable to facilitate different real-world tasks, e.g., ego-centric scenes and perspective-distortion scenes. The generated dataset comprises 0.79M images with corresponding 3D annotations, covering versatile viewpoints, scenes, and human identities. We train various HPS regressors on top of the generated data and evaluate them on a wide range of benchmarks (3DPW, RICH, EgoBody, AGORA, SSP-3D) to verify the effectiveness of the generated data. By exclusively employing generative models, we generate large-scale in-the-wild human images and high-quality annotations, eliminating the need for real-world data collection.
- Abstract(参考訳): 本研究では,生成モデルで生成した合成データがコンピュータグラフィックス(CG)レンダリングデータと相補的であることを示し,多種多様な実世界のシーンにおける3次元ポーズと形状推定(HPS)の顕著な一般化性能を実現する。
具体的には,HumanWildと呼ばれる最近の拡散モデルに基づく効果的なアプローチを提案する。
まず、包括的なアノテーション、テキストキャプション、表面の正常画像を含む大規模な人間中心のデータセットを収集する。
そして、このデータセットに基づいてカスタマイズされたControlNetモデルをトレーニングし、多様な人体画像と初期接地木ラベルを生成する。
このステップの核となるのは、3次元メッシュを画像平面上にレンダリングすることで、3次元の人体パラメトリックモデル(例えば、SMPL-X)から多数の表面正規画像を容易に取得できることである。
初期ラベルには避けられないノイズが存在するので、負のデータサンプルをフィルタするために、既成の基礎セグメンテーションモデル(SAM)を適用する。
私たちのデータ生成パイプラインは柔軟でカスタマイズ可能で、例えば、エゴ中心のシーンや視点歪みのシーンなど、さまざまな現実世界のタスクを容易にします。
生成されたデータセットは、対応する3Dアノテーションを備えた0.79万の画像で構成され、万能な視点、シーン、人間のアイデンティティをカバーする。
我々は、生成されたデータの上に様々なHPS回帰器をトレーニングし、それらを広範囲のベンチマーク(DPW, RICH, EgoBody, AGORA, SSP-3D)で評価し、生成されたデータの有効性を検証する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
関連論文リスト
- UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳(メタデータ) (2024-03-18T09:03:56Z) - ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [13.551691697814908]
実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。
我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
論文 参考訳(メタデータ) (2024-03-04T07:57:05Z) - En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳(メタデータ) (2024-01-02T12:06:31Z) - PoseGen: Learning to Generate 3D Human Pose Dataset with NeRF [20.841557239621995]
本稿では,Neural Radiance Fields (NeRF) を用いた3次元ポーズデータセット生成のためのエンドツーエンドフレームワークを提案する。
NeRFはデータ駆動型であり、人間の3Dスキャンを必要としない。そのため、データ生成にNeRFを用いることは、便利なユーザ固有のデータ生成のための新しい方向である。
論文 参考訳(メタデータ) (2023-12-22T18:50:15Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:30:24Z) - Learning Dense Correspondence from Synthetic Environments [27.841736037738286]
既存の方法では、実際の2D画像に手動でラベル付けされた人間のピクセルを3D表面にマッピングする。
本稿では,自動生成合成データを用いた2次元3次元人物マッピングアルゴリズムの訓練により,データ不足の問題を解決することを提案する。
論文 参考訳(メタデータ) (2022-03-24T08:13:26Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-02T17:10:53Z) - UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body
Decoupling 3D Model [58.70130563417079]
我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。
既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
論文 参考訳(メタデータ) (2021-10-28T16:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。