論文の概要: IDOL: Instant Photorealistic 3D Human Creation from a Single Image

• arxiv url: http://arxiv.org/abs/2412.14963v1
• Date: Thu, 19 Dec 2024 15:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:25.352723
• Title: IDOL: Instant Photorealistic 3D Human Creation from a Single Image
• Title（参考訳）: IDOL:1枚の画像からインスタントなフォトリアリスティックな3D人間の創造
• Authors: Yiyu Zhuang, Jiaxi Lv, Hao Wen, Qing Shuai, Ailing Zeng, Hao Zhu, Shifeng Chen, Yujiu Yang, Xun Cao, Wei Liu,
• Abstract要約: この作業は、データセット、モデル、表現の観点からタスクを再考する。 大規模なHUman中心のGEnerated GEnerated データセットであるHuGe100Kを紹介した。 我々は、与えられた人間の画像から一様空間における3次元ガウス表現を予測するスケーラブルなフィードフォワードトランスフォーマーモデルを開発した。
• 参考スコア（独自算出の注目度）: 47.51400420928373
• License:
• Abstract: Creating a high-fidelity, animatable 3D full-body avatar from a single image is a challenging task due to the diverse appearance and poses of humans and the limited availability of high-quality training data. To achieve fast and high-quality human reconstruction, this work rethinks the task from the perspectives of dataset, model, and representation. First, we introduce a large-scale HUman-centric GEnerated dataset, HuGe100K, consisting of 100K diverse, photorealistic sets of human images. Each set contains 24-view frames in specific human poses, generated using a pose-controllable image-to-multi-view model. Next, leveraging the diversity in views, poses, and appearances within HuGe100K, we develop a scalable feed-forward transformer model to predict a 3D human Gaussian representation in a uniform space from a given human image. This model is trained to disentangle human pose, body shape, clothing geometry, and texture. The estimated Gaussians can be animated without post-processing. We conduct comprehensive experiments to validate the effectiveness of the proposed dataset and method. Our model demonstrates the ability to efficiently reconstruct photorealistic humans at 1K resolution from a single input image using a single GPU instantly. Additionally, it seamlessly supports various applications, as well as shape and texture editing tasks.
• Abstract（参考訳）: 高忠実でアニマタブルな3Dフルボディアバターを1枚の画像から作成することは、人間の外見とポーズの多様さと、高品質なトレーニングデータの限られた可用性のために難しい課題である。 高速で高品質な人間の再構築を実現するため、この研究はデータセット、モデル、表現の観点からタスクを再考する。 まず,HUman中心の大規模GEnerated GEnerated データセットであるHuGe100Kを紹介する。 各セットは、ポーズ制御可能なイメージ・ツー・マルチビューモデルを用いて生成された、特定の人間のポーズの24ビューフレームを含む。 次に、HuGe100K内のビュー、ポーズ、外観の多様性を活用して、与えられた人間の画像から一様空間における3次元ガウス表現を予測するスケーラブルなフィードフォワードトランスフォーマーモデルを開発する。 このモデルは、人間のポーズ、体形、衣服の形状、テクスチャを乱すよう訓練されている。 推定されたガウス語は後処理なしでアニメーションできる。 提案手法の有効性を検証するための総合的な実験を行った。 提案モデルでは,1つのGPUを用いて,1K解像度で1K解像度で効率よく光現実的人間を再構築できることを実証する。 さらに、様々なアプリケーションや形状やテクスチャ編集タスクをシームレスにサポートする。

関連論文リスト

• HINT: Learning Complete Human Neural Representations from Limited Viewpoints [69.76947323932107]
  我々は、限られた視野角から詳細な人間のモデルを学習できるNeRFベースのアルゴリズムを提案する。 その結果,数個の視角からでも完全な人間の再構築が可能となり,性能は15%以上向上した。
  論文  参考訳（メタデータ） (2024-05-30T05:43:09Z)
• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。