論文の概要: SemanticHuman-HD: High-Resolution Semantic Disentangled 3D Human Generation

• arxiv url: http://arxiv.org/abs/2403.10166v1
• Date: Fri, 15 Mar 2024 10:18:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:40:24.187926
• Title: SemanticHuman-HD: High-Resolution Semantic Disentangled 3D Human Generation
• Title（参考訳）: セマンティックHuman-HD:高分解能セマンティックディスタングル型3Dヒューマンジェネレーション
• Authors: Peng Zheng, Tao Liu, Zili Yi, Rui Ma,
• Abstract要約: 本稿ではセマンティックHuman-HDについて紹介する。 SemanticHuman-HDは10242ドルの解像度で3D認識画像合成を実現する最初の方法でもある。 提案手法は, 3次元衣服生成, セマンティック・アウェア画像合成, 制御可能な画像合成など, 様々な用途にエキサイティングな可能性を開く。
• 参考スコア（独自算出の注目度）: 12.063815354055052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of neural radiance fields and generative models, numerous methods have been proposed for learning 3D human generation from 2D images. These methods allow control over the pose of the generated 3D human and enable rendering from different viewpoints. However, none of these methods explore semantic disentanglement in human image synthesis, i.e., they can not disentangle the generation of different semantic parts, such as the body, tops, and bottoms. Furthermore, existing methods are limited to synthesize images at $512^2$ resolution due to the high computational cost of neural radiance fields. To address these limitations, we introduce SemanticHuman-HD, the first method to achieve semantic disentangled human image synthesis. Notably, SemanticHuman-HD is also the first method to achieve 3D-aware image synthesis at $1024^2$ resolution, benefiting from our proposed 3D-aware super-resolution module. By leveraging the depth maps and semantic masks as guidance for the 3D-aware super-resolution, we significantly reduce the number of sampling points during volume rendering, thereby reducing the computational cost. Our comparative experiments demonstrate the superiority of our method. The effectiveness of each proposed component is also verified through ablation studies. Moreover, our method opens up exciting possibilities for various applications, including 3D garment generation, semantic-aware image synthesis, controllable image synthesis, and out-of-domain image synthesis.
• Abstract（参考訳）: 神経放射場と生成モデルの開発により、2次元画像から3次元人間の生成を学習するための多くの手法が提案されている。 これらの方法は、生成された3D人間のポーズを制御し、異なる視点からレンダリングを可能にする。 しかしながら、これらの手法は、人間の画像合成における意味的ゆがみ、すなわち、体、トップ、ボトムなどの異なる意味的部分の生成を歪めることはできない。 さらに,既存の手法は,高計算コストのニューラルラジアンス場により,512^2$の解像度で画像の合成に制限されている。 これらの制約に対処するため,セマンティックHuman-HDを導入する。 特に,SemanticHuman-HDは,提案した3D対応超解像モジュールを利用して,1024^2$で3D対応画像合成を実現する最初の方法である。 深度マップとセマンティックマスクを3D対応超解像のガイダンスとして活用することにより,ボリュームレンダリング時のサンプリング点数を著しく削減し,計算コストを削減した。 比較実験により,本手法の優位性を実証した。 また, 各成分の有効性をアブレーション研究により検証した。 さらに,本手法は, 3次元衣料生成, 意味認識画像合成, 制御可能な画像合成, ドメイン外画像合成など, 様々な用途にエキサイティングな可能性を開く。

関連論文リスト

• InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation [61.62346472443454]
  InceptionHumanは、異なるモードのプロンプトの組み合わせで簡単にコントロールでき、フォトリアリスティックな3D人間を生成することができるプロンプト・トゥ・NeRFフレームワークである。 InceptionHumanは、徐々に洗練されたNeRF空間内で、一貫した3Dヒューマン生成を実現する。
  論文  参考訳（メタデータ） (2023-11-27T15:49:41Z)
• Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
  NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。 単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:59:56Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field [55.431697263581626]
  セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。 CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。 最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
  論文  参考訳（メタデータ） (2023-02-03T07:17:46Z)
• Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
  3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。 既存の方法では、適度な3D形状が得られない。 本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:37Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)
• Detailed 3D Human Body Reconstruction from Multi-view Images Combining Voxel Super-Resolution and Learned Implicit Representation [12.459968574683625]
  多視点画像から詳細な3次元人体を再構築する粗い方法を提案する。 粗い3Dモデルは、マルチスケールな特徴に基づいて暗黙表現を学習することによって推定される。 洗練された3D人体モデルは、詳細を保存できるボクセル超解像によって製造することができる。
  論文  参考訳（メタデータ） (2020-12-11T08:07:39Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。