論文の概要: Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos
- arxiv url: http://arxiv.org/abs/2402.03723v1
- Date: Tue, 6 Feb 2024 05:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 16:34:20.661716
- Title: Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos
- Title(参考訳): Rig3DGS: Casual Monocular Videoからコントロール可能なポートレイを作る
- Authors: Alfredo Rivero, ShahRukh Athar, Zhixin Shu, Dimitris Samaras
- Abstract要約: 我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。
鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。
定量的および定性的な実験によって学習した変形の有効性を実証する。
- 参考スコア(独自算出の注目度): 33.779636707618785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating controllable 3D human portraits from casual smartphone videos is
highly desirable due to their immense value in AR/VR applications. The recent
development of 3D Gaussian Splatting (3DGS) has shown improvements in rendering
quality and training efficiency. However, it still remains a challenge to
accurately model and disentangle head movements and facial expressions from a
single-view capture to achieve high-quality renderings. In this paper, we
introduce Rig3DGS to address this challenge. We represent the entire scene,
including the dynamic subject, using a set of 3D Gaussians in a canonical
space. Using a set of control signals, such as head pose and expressions, we
transform them to the 3D space with learned deformations to generate the
desired rendering. Our key innovation is a carefully designed deformation
method which is guided by a learnable prior derived from a 3D morphable model.
This approach is highly efficient in training and effective in controlling
facial expressions, head positions, and view synthesis across various captures.
We demonstrate the effectiveness of our learned deformation through extensive
quantitative and qualitative experiments. The project page can be found at
http://shahrukhathar.github.io/2024/02/05/Rig3DGS.html
- Abstract(参考訳): コントロール可能な3D人間の肖像画をカジュアルなスマートフォンビデオから作成することが非常に望ましい。
最近の3Dガウススティング(3DGS)は、レンダリング品質とトレーニング効率が改善されている。
しかし、高品質なレンダリングを実現するために、シングルビューキャプチャーから頭部の動きや表情を正確にモデル化し、切り離すことは依然として課題である。
本稿では,この課題に対処するためにRig3DGSを紹介する。
ダイナミックな主題を含むシーン全体を、標準空間における3Dガウスの集合を用いて表現する。
頭部ポーズや表情などの一連の制御信号を用いて、学習した変形を伴って3次元空間に変換し、所望のレンダリングを生成する。
我々の重要な革新は、慎重に設計された変形法であり、3次元形態素モデルから学習可能な先行モデルによって導かれる。
このアプローチは、トレーニングにおいて非常に効率的であり、表情、頭の位置、様々なキャプチャ全体にわたるビュー合成の制御に効果的である。
定量的および定性的な実験によって学習した変形の有効性を実証する。
プロジェクトページはhttp://shahrukhathar.github.io/2024/02/05/Rig3DGS.htmlにある。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - VOODOO 3D: Volumetric Portrait Disentanglement for One-Shot 3D Head
Reenactment [17.372274738231443]
そこで本研究では,ソースの出現とドライバ表現のための,完全に神経の絡み合ったフレームワークをベースとした3D認識型ワンショットヘッド再現手法を提案する。
提案手法はリアルタイムであり,ホログラフィックディスプレイに基づく3次元遠隔会議システムに適した高忠実・高精細な出力を実現する。
論文 参考訳(メタデータ) (2023-12-07T19:19:57Z) - Drivable 3D Gaussian Avatars [26.346626608626057]
現在の乾燥可能なアバターは、トレーニング中に正確な3Dの登録が必要か、テスト中に高密度の入力画像が必要か、両方だ。
この研究は、最近発表された3D Gaussian Splatting(3DGS)技術を使って、リアルな人間をリアルタイムでフレームレートでレンダリングする。
サイズが小さくなると、これらの変形を関節角とキーポイントで駆動し、通信用途に適している。
論文 参考訳(メタデータ) (2023-11-14T22:54:29Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head
Video Generation [18.511092587156657]
顔画像から高密度な3次元顔形状を学習するための新しい自己教師手法を提案する。
また,画素レベルの不確実性を学習し,幾何学習のためのより信頼性の高い剛体移動画素を知覚する戦略を提案する。
我々は,3D対応のクロスモーダル(e,外見,深度)アテンション機構を開発し,粗い方法で顔のジオメトリーを捉える。
論文 参考訳(メタデータ) (2023-05-10T14:58:33Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。
近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。
マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
論文 参考訳(メタデータ) (2022-10-12T17:59:56Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。