論文の概要: iHuman: Instant Animatable Digital Humans From Monocular Videos
- arxiv url: http://arxiv.org/abs/2407.11174v1
- Date: Mon, 15 Jul 2024 18:51:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:31:15.426549
- Title: iHuman: Instant Animatable Digital Humans From Monocular Videos
- Title（参考訳）: iHuman:モノクロビデオからインスタントアニメのデジタル人間
- Authors: Pramish Paudel, Anubhav Khanal, Ajad Chhatkuli, Danda Pani Paudel, Jyoti Tandukar,
- Abstract要約: モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。
この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。
我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
- 参考スコア（独自算出の注目度）: 16.98924995658091
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Personalized 3D avatars require an animatable representation of digital humans. Doing so instantly from monocular videos offers scalability to broad class of users and wide-scale applications. In this paper, we present a fast, simple, yet effective method for creating animatable 3D digital humans from monocular videos. Our method utilizes the efficiency of Gaussian splatting to model both 3D geometry and appearance. However, we observed that naively optimizing Gaussian splats results in inaccurate geometry, thereby leading to poor animations. This work achieves and illustrates the need of accurate 3D mesh-type modelling of the human body for animatable digitization through Gaussian splats. This is achieved by developing a novel pipeline that benefits from three key aspects: (a) implicit modelling of surface's displacements and the color's spherical harmonics; (b) binding of 3D Gaussians to the respective triangular faces of the body template; (c) a novel technique to render normals followed by their auxiliary supervision. Our exhaustive experiments on three different benchmark datasets demonstrates the state-of-the-art results of our method, in limited time settings. In fact, our method is faster by an order of magnitude (in terms of training time) than its closest competitor. At the same time, we achieve superior rendering and 3D reconstruction performance under the change of poses.
- Abstract（参考訳）: パーソナライズされた3Dアバターは、デジタル人間のアニマタブルな表現を必要とする。
モノクロビデオから即座に行うことは、幅広い種類のユーザーと広範囲のアプリケーションにスケーラビリティを提供する。
本稿では,モノクロビデオからアニマタブルな3Dデジタル人間を作成するための,高速かつシンプルで効果的な方法を提案する。
本手法は3次元形状と外観の両方をモデル化するためにガウススプラッティングの効率性を利用する。
しかし,ガウスのスプレートを過度に最適化すると不正確な幾何学が得られ,アニメーションが貧弱になることがわかった。
本研究は,ガウススプラットを通したアニマタブルデジタル化のために,人体の正確な3次元メッシュ型モデリングの必要性を実証するものである。
これは、3つの重要な側面から恩恵を受ける新しいパイプラインを開発することで達成される。
a) 表面の変位と色の球面調和を暗黙的にモデル化すること
b) 3Dガウスの身体テンプレートの各三角形面への結合
(c) 正常を付与する新しい技法で、その後に補助監督を行う。
3つの異なるベンチマークデータセットに対する徹底的な実験は、限られた時間設定で、我々の手法の最先端の結果を示す。
実際、我々の手法は(トレーニング時間の観点から)最も近い競合相手よりも桁違いに高速である。
同時に、ポーズの変化下でのレンダリングおよび3次元再構成性能を向上する。
関連論文リスト
- Gaussian Eigen Models for Human Heads [28.49783203616257]
動的3次元ガウスを低次元線形空間に圧縮する新しい手法である人頭用ガウス固有モデル(GEM)を提案する。
我々のアプローチはBranzとVetterの独創的な業績にインスパイアされ、メッシュベースの3D形態素モデル(3DMM)が登録メッシュから構築される。
我々は,自己再現と対人再現を最先端の3Dアバター法と比較し,より高い品質と制御性を示す。
論文 参考訳（メタデータ） (2024-07-05T14:30:24Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳（メタデータ） (2024-03-18T09:03:56Z) - Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos [33.779636707618785]
我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。
鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。
定量的および定性的な実験によって学習した変形の有効性を実証する。
論文 参考訳（メタデータ） (2024-02-06T05:40:53Z) - En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳（メタデータ） (2024-01-02T12:06:31Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z) - GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。
ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する
ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
論文 参考訳（メタデータ） (2023-12-05T18:59:14Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - Drivable 3D Gaussian Avatars [26.346626608626057]
現在の乾燥可能なアバターは、トレーニング中に正確な3Dの登録が必要か、テスト中に高密度の入力画像が必要か、両方だ。
この研究は、最近発表された3D Gaussian Splatting(3DGS)技術を使って、リアルな人間をリアルタイムでフレームレートでレンダリングする。
サイズが小さくなると、これらの変形を関節角とキーポイントで駆動し、通信用途に適している。
論文 参考訳（メタデータ） (2023-11-14T22:54:29Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。