論文の概要: iHuman: Instant Animatable Digital Humans From Monocular Videos

• arxiv url: http://arxiv.org/abs/2407.11174v1
• Date: Mon, 15 Jul 2024 18:51:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 19:31:15.426549
• Title: iHuman: Instant Animatable Digital Humans From Monocular Videos
• Title（参考訳）: iHuman:モノクロビデオからインスタントアニメのデジタル人間
• Authors: Pramish Paudel, Anubhav Khanal, Ajad Chhatkuli, Danda Pani Paudel, Jyoti Tandukar,
• Abstract要約: モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。 この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。 我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
• 参考スコア（独自算出の注目度）: 16.98924995658091
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Personalized 3D avatars require an animatable representation of digital humans. Doing so instantly from monocular videos offers scalability to broad class of users and wide-scale applications. In this paper, we present a fast, simple, yet effective method for creating animatable 3D digital humans from monocular videos. Our method utilizes the efficiency of Gaussian splatting to model both 3D geometry and appearance. However, we observed that naively optimizing Gaussian splats results in inaccurate geometry, thereby leading to poor animations. This work achieves and illustrates the need of accurate 3D mesh-type modelling of the human body for animatable digitization through Gaussian splats. This is achieved by developing a novel pipeline that benefits from three key aspects: (a) implicit modelling of surface's displacements and the color's spherical harmonics; (b) binding of 3D Gaussians to the respective triangular faces of the body template; (c) a novel technique to render normals followed by their auxiliary supervision. Our exhaustive experiments on three different benchmark datasets demonstrates the state-of-the-art results of our method, in limited time settings. In fact, our method is faster by an order of magnitude (in terms of training time) than its closest competitor. At the same time, we achieve superior rendering and 3D reconstruction performance under the change of poses.
• Abstract（参考訳）: パーソナライズされた3Dアバターは、デジタル人間のアニマタブルな表現を必要とする。 モノクロビデオから即座に行うことは、幅広い種類のユーザーと広範囲のアプリケーションにスケーラビリティを提供する。 本稿では,モノクロビデオからアニマタブルな3Dデジタル人間を作成するための,高速かつシンプルで効果的な方法を提案する。 本手法は3次元形状と外観の両方をモデル化するためにガウススプラッティングの効率性を利用する。 しかし,ガウスのスプレートを過度に最適化すると不正確な幾何学が得られ,アニメーションが貧弱になることがわかった。 本研究は,ガウススプラットを通したアニマタブルデジタル化のために,人体の正確な3次元メッシュ型モデリングの必要性を実証するものである。 これは、3つの重要な側面から恩恵を受ける新しいパイプラインを開発することで達成される。 a) 表面の変位と色の球面調和を暗黙的にモデル化すること b) 3Dガウスの身体テンプレートの各三角形面への結合 (c) 正常を付与する新しい技法で、その後に補助監督を行う。 3つの異なるベンチマークデータセットに対する徹底的な実験は、限られた時間設定で、我々の手法の最先端の結果を示す。 実際、我々の手法は(トレーニング時間の観点から)最も近い競合相手よりも桁違いに高速である。 同時に、ポーズの変化下でのレンダリングおよび3次元再構成性能を向上する。

関連論文リスト

• GaussianMotion: End-to-End Learning of Animatable Gaussian Avatars with Pose Guidance from Text [39.16924298167778]
  テキスト記述に整合した完全アニマタブルなシーンを生成する新しいレンダリングモデルを提案する。 本手法は, 変形可能な3次元ガウススプラッティングとテキスト・ツー・3次元スコア蒸留を組み合わせることで, 完全アニマタブルな3次元アバターを生成する。
  論文  参考訳（メタデータ） (2025-02-17T10:36:36Z)
• 3D$^2$-Actor: Learning Pose-Conditioned 3D-Aware Denoiser for Realistic Gaussian Avatar Modeling [37.11454674584874]
  ポーズ条件付き3D対応ヒューマンモデリングパイプラインである3D$2$-Actorを導入する。 実験により、3D$2$-アクターは高忠実度アバターモデリングにおいて優れ、新しいポーズに頑健に一般化することを示した。
  論文  参考訳（メタデータ） (2024-12-16T09:37:52Z)
• DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses [57.17501809717155]
  本研究では,骨格ポーズシーケンスのみを条件入力として,人間のイメージをアニメーションする新しい手法であるDreamDanceを提案する。 私たちの重要な洞察は、人間の画像は自然に複数のレベルの相関を示すということです。 我々は5Kの高品質なダンスビデオと詳細なフレームアノテーションを組み合わせたTikTok-Dance5Kデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-30T08:42:13Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and Editing [53.05069432989608]
  本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。 本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
  論文  参考訳（メタデータ） (2023-12-05T19:05:58Z)
• GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
  GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。 ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
  論文  参考訳（メタデータ） (2023-12-05T18:59:14Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。