論文の概要: InstantAvatar: Learning Avatars from Monocular Video in 60 Seconds
- arxiv url: http://arxiv.org/abs/2212.10550v1
- Date: Tue, 20 Dec 2022 18:53:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 16:43:01.551377
- Title: InstantAvatar: Learning Avatars from Monocular Video in 60 Seconds
- Title（参考訳）: instantavatar: 単眼ビデオからアバターを60秒で学習する
- Authors: Tianjian Jiang, Xu Chen, Jie Song, Otmar Hilliges
- Abstract要約: 本研究では,モノクロ映像から人間のアバターを数秒で再構築できるシステムを提案する。
既存の方法と比較して、InstantAvatarは130倍早く収束し、数時間ではなく数分で訓練できる。
- 参考スコア（独自算出の注目度）: 43.41503529747328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we take a significant step towards real-world applicability of
monocular neural avatar reconstruction by contributing InstantAvatar, a system
that can reconstruct human avatars from a monocular video within seconds, and
these avatars can be animated and rendered at an interactive rate. To achieve
this efficiency we propose a carefully designed and engineered system, that
leverages emerging acceleration structures for neural fields, in combination
with an efficient empty space-skipping strategy for dynamic scenes. We also
contribute an efficient implementation that we will make available for research
purposes. Compared to existing methods, InstantAvatar converges 130x faster and
can be trained in minutes instead of hours. It achieves comparable or even
better reconstruction quality and novel pose synthesis results. When given the
same time budget, our method significantly outperforms SoTA methods.
InstantAvatar can yield acceptable visual quality in as little as 10 seconds
training time.
- Abstract（参考訳）: 本稿では,単眼ビデオから人間のアバターを数秒で再構築できるシステムであるinstantavatarに寄与することで,単眼神経アバター再構成の現実的応用可能性に向けて大きな一歩を踏み出し,これらのアバターをインタラクティブなレートでアニメーション化・レンダリングすることができる。
この効率を達成するために,神経場に対する新しい加速度構造と,動的シーンのための効率的な空スペーススキップ戦略を組み合わせた,注意深く設計・設計したシステムを提案する。
また、研究目的に利用できる効率的な実装にも貢献します。
既存の方法と比較して、InstantAvatarは130倍早く収束し、数時間ではなく数分で訓練できる。
より優れた復元品質と新規ポーズ合成結果を達成する。
同じ時間予算を与えられた場合、本手法はSoTA法よりも大幅に優れる。
instantavatarは10秒のトレーニング時間で許容可能な視覚品質を得ることができる。
関連論文リスト
- InstantGeoAvatar: Effective Geometry and Appearance Modeling of Animatable Avatars from Monocular Video [19.14732665400654]
InstantGeoAvatarは、詳細な3次元幾何学の単眼ビデオから効率的かつ効果的な学習方法である。
本稿では,ボリュームレンダリングパイプラインにシームレスに適合する幾何対応 SDF 正規化方式を提案する。
幾何再構成と新しいビュー合成の競争力は5分以内のトレーニング時間で得られる。
論文 参考訳（メタデータ） (2024-11-03T10:26:33Z) - Efficient Neural Implicit Representation for 3D Human Reconstruction [38.241511336562844]
従来の3次元の人間の動きを再構築するには、高価なハードウェアを使う必要があり、高い処理コストがかかる。
本研究では,モノクラービデオソースから正確な人間のアバターを効率的に再構築する革新的アプローチであるHumanAvatarを提案する。
論文 参考訳（メタデータ） (2024-10-23T10:16:01Z) - LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。
LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
論文 参考訳（メタデータ） (2024-09-26T17:00:02Z) - 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。
我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。
実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-14T18:54:32Z) - Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars [18.55354901614876]
入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。
新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間を短縮したInstantAvatarよりも高い再現性を実現する。
本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
論文 参考訳（メタデータ） (2023-11-27T08:17:09Z) - Auto-CARD: Efficient and Robust Codec Avatar Driving for Real-time
Mobile Telepresence [27.763047709846713]
我々は,Codec Avatarのリアルタイムかつ堅牢な運転を可能にするAuto-CARDというフレームワークを提案する。
評価のために、リアルタイムのCodec Avatar駆動設定におけるAuto-CARDフレームワークの有効性を示す。
論文 参考訳（メタデータ） (2023-04-24T05:45:12Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳（メタデータ） (2023-03-23T00:15:34Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳（メタデータ） (2023-03-21T14:41:25Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳（メタデータ） (2022-12-16T10:05:31Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳（メタデータ） (2022-10-28T07:11:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。