論文の概要: FLARE: Fast Learning of Animatable and Relightable Mesh Avatars
- arxiv url: http://arxiv.org/abs/2310.17519v2
- Date: Fri, 27 Oct 2023 09:11:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 10:40:24.772422
- Title: FLARE: Fast Learning of Animatable and Relightable Mesh Avatars
- Title（参考訳）: flare: アニメーションとリフレッシュ可能なメッシュアバターの高速学習
- Authors: Shrisha Bharadwaj, Yufeng Zheng, Otmar Hilliges, Michael J. Black,
Victoria Fernandez-Abrevaya
- Abstract要約: 私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
- 参考スコア（独自算出の注目度）: 64.48254296523977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our goal is to efficiently learn personalized animatable 3D head avatars from
videos that are geometrically accurate, realistic, relightable, and compatible
with current rendering systems. While 3D meshes enable efficient processing and
are highly portable, they lack realism in terms of shape and appearance. Neural
representations, on the other hand, are realistic but lack compatibility and
are slow to train and render. Our key insight is that it is possible to
efficiently learn high-fidelity 3D mesh representations via differentiable
rendering by exploiting highly-optimized methods from traditional computer
graphics and approximating some of the components with neural networks. To that
end, we introduce FLARE, a technique that enables the creation of animatable
and relightable mesh avatars from a single monocular video. First, we learn a
canonical geometry using a mesh representation, enabling efficient
differentiable rasterization and straightforward animation via learned
blendshapes and linear blend skinning weights. Second, we follow
physically-based rendering and factor observed colors into intrinsic albedo,
roughness, and a neural representation of the illumination, allowing the
learned avatars to be relit in novel scenes. Since our input videos are
captured on a single device with a narrow field of view, modeling the
surrounding environment light is non-trivial. Based on the split-sum
approximation for modeling specular reflections, we address this by
approximating the pre-filtered environment map with a multi-layer perceptron
(MLP) modulated by the surface roughness, eliminating the need to explicitly
model the light. We demonstrate that our mesh-based avatar formulation,
combined with learned deformation, material, and lighting MLPs, produces
avatars with high-quality geometry and appearance, while also being efficient
to train and render compared to existing approaches.
- Abstract（参考訳）: 私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
3Dメッシュは効率的な処理を可能にし、ポータブル性が高いが、形状や外観の面では現実性に欠ける。
一方、ニューラル表現は現実的であるが、互換性がなく、トレーニングやレンダリングが遅い。
我々の重要な洞察は、従来のコンピュータグラフィックスから高度に最適化された手法を活用し、ニューラルネットワークで一部のコンポーネントを近似することにより、差別化可能なレンダリングにより、高忠実な3Dメッシュ表現を効率的に学習できるということです。
そこで本研究では,単一モノクロビデオからアニマタブルかつリライタブルなメッシュアバターの作成を可能にする技術であるFLAREを紹介する。
まず,メッシュ表現を用いて正準幾何学を学習し,学習したブレンド形状と線形ブレンドスキン重みを用いて,効率的な微分可能なラスタイゼーションとストレートアニメーションを実現する。
第2に,観察した色彩を物理的に表現し,本質的なアルベド,粗さ,照明のニューラル表現に分解し,学習したアバターを新たな場面でリライトさせる。
入力ビデオは視野が狭い単一のデバイスで撮影されるので、周囲の環境光をモデル化するのは簡単ではない。
鏡面反射をモデル化するためのスプリットサム近似に基づいて,表面粗さに変調された多層パーセプトロン (mlp) で事前フィルタされた環境マップを近似し,光を明示的にモデル化する必要をなくし,この問題に対処する。
メッシュをベースとしたアバターの定式化と学習した変形,材料,照明のMDPを組み合わせることで,高品質な幾何学と外観を持つアバターを生産し,既存のアプローチと比較してトレーニングやレンダリングが効率的であることを示す。
関連論文リスト
- Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。
提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
論文 参考訳（メタデータ） (2024-07-15T13:25:07Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳（メタデータ） (2024-04-22T00:44:13Z) - UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。
提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
論文 参考訳（メタデータ） (2024-01-20T01:55:17Z) - Relightable Gaussian Codec Avatars [26.255161061306428]
Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:59:58Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳（メタデータ） (2023-07-11T17:58:31Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳（メタデータ） (2022-12-16T10:05:31Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。