論文の概要: Drivable Volumetric Avatars using Texel-Aligned Features
- arxiv url: http://arxiv.org/abs/2207.09774v1
- Date: Wed, 20 Jul 2022 09:28:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 13:45:09.464427
- Title: Drivable Volumetric Avatars using Texel-Aligned Features
- Title（参考訳）: テクセルアライメント特徴を用いた乾式容積アバター
- Authors: Edoardo Remelli, Timur Bagautdinov, Shunsuke Saito, Tomas Simon,
Chenglei Wu, Shih-En Wei, Kaiwen Guo, Zhe Cao, Fabian Prada, Jason Saragih,
Yaser Sheikh
- Abstract要約: 光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。
本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 52.89305658071045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Photorealistic telepresence requires both high-fidelity body modeling and
faithful driving to enable dynamically synthesized appearance that is
indistinguishable from reality. In this work, we propose an end-to-end
framework that addresses two core challenges in modeling and driving full-body
avatars of real people. One challenge is driving an avatar while staying
faithful to details and dynamics that cannot be captured by a global
low-dimensional parameterization such as body pose. Our approach supports
driving of clothed avatars with wrinkles and motion that a real driving
performer exhibits beyond the training corpus. Unlike existing global state
representations or non-parametric screen-space approaches, we introduce
texel-aligned features -- a localised representation which can leverage both
the structural prior of a skeleton-based parametric model and observed sparse
image signals at the same time. Another challenge is modeling a temporally
coherent clothed avatar, which typically requires precise surface tracking. To
circumvent this, we propose a novel volumetric avatar representation by
extending mixtures of volumetric primitives to articulated objects. By
explicitly incorporating articulation, our approach naturally generalizes to
unseen poses. We also introduce a localized viewpoint conditioning, which leads
to a large improvement in generalization of view-dependent appearance. The
proposed volumetric representation does not require high-quality mesh tracking
as a prerequisite and brings significant quality improvements compared to
mesh-based counterparts. In our experiments, we carefully examine our design
choices and demonstrate the efficacy of our approach, outperforming the
state-of-the-art methods on challenging driving scenarios.
- Abstract（参考訳）: 光現実的テレプレゼンスは、現実と区別できない動的に合成された外観を実現するために、高忠実なボディモデリングと忠実な運転の両方を必要とする。
本研究では,現実人のフルボディアバターのモデリングと駆動における2つの課題に対処するエンドツーエンドフレームワークを提案する。
一つの課題は、ディテールやダイナミックスに忠実でありながらアバターを運転することであり、ボディポーズのようなグローバルな低次元パラメータ化では捉えられない。
本手法は,実際の運転者がトレーニングコーパスを超えて提示するしわや動きを伴う服を着たアバターの運転を支援する。
既存のグローバルな状態表現や非パラメトリックなスクリーンスペースアプローチとは異なり、私たちは、スケルトンベースのパラメトリックモデルの構造と観察されたスパース画像信号の両方を同時に活用できる、局所化された表現であるテクセル整列機能を導入します。
もうひとつの課題は、時間的に整合したアバターをモデル化することだ。
そこで本研究では,体積原始体の混合を音節オブジェクトに拡張することにより,新しい体積アバター表現を提案する。
明瞭に調音を組み込むことで、我々のアプローチは自然に知覚できないポーズに一般化する。
また,局所的な視点条件付けを導入することで,視点依存的外観の一般化が促進される。
提案したボリューム表現は,高品質なメッシュトラッキングを前提条件として必要とせず,メッシュベースのものに比べて大幅な品質向上を実現している。
実験では, 設計選択を慎重に検討し, 運転シナリオにおける最先端手法を上回って, アプローチの有効性を実証した。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using
Garment Rigging Model [58.035758145894846]
AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。
身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。
本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
論文 参考訳（メタデータ） (2024-01-27T08:48:18Z) - From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。
ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。
実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
論文 参考訳（メタデータ） (2024-01-03T18:55:16Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural
Radiance Field [44.848368616444446]
我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。
画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
論文 参考訳（メタデータ） (2023-09-29T10:45:22Z) - MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。
我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
論文 参考訳（メタデータ） (2023-04-04T17:55:03Z) - AutoAvatar: Autoregressive Neural Fields for Dynamic Avatar Modeling [38.9663410820652]
本研究では, 自己回帰モデルを用いて, 軟部変形などの動的効果を捉える。
パラメトリックな人体モデルの明示的な面に暗黙の状態を関連づける、明瞭な観察点の概念を導入する。
提案手法は, 目立たない動作であっても, 高い動的変形を達成し, 芸術的状態よりも優れる。
論文 参考訳（メタデータ） (2022-03-25T17:59:59Z) - Imposing Temporal Consistency on Deep Monocular Body Shape and Pose
Estimation [67.23327074124855]
本稿では,適合過程における時間的制約の統合に対するエレガントな解法を提案する。
我々は、顎ポーズ、表情、指ポーズを含む人物の形状と動きを表す一連の身体モデルのパラメーターを導出する。
本手法は,表情や手話を含む画像系列からリアルな3次元体モデルの導出を可能にする。
論文 参考訳（メタデータ） (2022-02-07T11:11:55Z) - Dynamic Neural Garments [45.833166320896716]
本稿では,身体の関節運動を取り込み,リアルな動的衣服画像列を直接生成する解を提案する。
具体的には, アバターの目標関節運動列を考慮し, ダイナミック・ニューラル・ウェアスを提案し, プラウシブル・ダイナミック・ウェアスの外観をシミュレートし, レンダリングする。
論文 参考訳（メタデータ） (2021-02-23T17:21:21Z) - PVA: Pixel-aligned Volumetric Avatars [34.929560973779466]
少数の入力から人間の頭部の体積アバターを予測するための新しいアプローチを考案する。
提案手法は,光度再レンダリングによる損失のみを前提としたエンドツーエンドで,明示的な3次元監視を必要とせずに訓練を行う。
論文 参考訳（メタデータ） (2021-01-07T18:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。