論文の概要: Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos
- arxiv url: http://arxiv.org/abs/2402.03723v1
- Date: Tue, 6 Feb 2024 05:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 16:34:20.661716
- Title: Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos
- Title（参考訳）: Rig3DGS: Casual Monocular Videoからコントロール可能なポートレイを作る
- Authors: Alfredo Rivero, ShahRukh Athar, Zhixin Shu, Dimitris Samaras
- Abstract要約: 我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。
鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。
定量的および定性的な実験によって学習した変形の有効性を実証する。
- 参考スコア（独自算出の注目度）: 33.779636707618785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating controllable 3D human portraits from casual smartphone videos is
highly desirable due to their immense value in AR/VR applications. The recent
development of 3D Gaussian Splatting (3DGS) has shown improvements in rendering
quality and training efficiency. However, it still remains a challenge to
accurately model and disentangle head movements and facial expressions from a
single-view capture to achieve high-quality renderings. In this paper, we
introduce Rig3DGS to address this challenge. We represent the entire scene,
including the dynamic subject, using a set of 3D Gaussians in a canonical
space. Using a set of control signals, such as head pose and expressions, we
transform them to the 3D space with learned deformations to generate the
desired rendering. Our key innovation is a carefully designed deformation
method which is guided by a learnable prior derived from a 3D morphable model.
This approach is highly efficient in training and effective in controlling
facial expressions, head positions, and view synthesis across various captures.
We demonstrate the effectiveness of our learned deformation through extensive
quantitative and qualitative experiments. The project page can be found at
http://shahrukhathar.github.io/2024/02/05/Rig3DGS.html
- Abstract（参考訳）: コントロール可能な3D人間の肖像画をカジュアルなスマートフォンビデオから作成することが非常に望ましい。
最近の3Dガウススティング(3DGS)は、レンダリング品質とトレーニング効率が改善されている。
しかし、高品質なレンダリングを実現するために、シングルビューキャプチャーから頭部の動きや表情を正確にモデル化し、切り離すことは依然として課題である。
本稿では,この課題に対処するためにRig3DGSを紹介する。
ダイナミックな主題を含むシーン全体を、標準空間における3Dガウスの集合を用いて表現する。
頭部ポーズや表情などの一連の制御信号を用いて、学習した変形を伴って3次元空間に変換し、所望のレンダリングを生成する。
我々の重要な革新は、慎重に設計された変形法であり、3次元形態素モデルから学習可能な先行モデルによって導かれる。
このアプローチは、トレーニングにおいて非常に効率的であり、表情、頭の位置、様々なキャプチャ全体にわたるビュー合成の制御に効果的である。
定量的および定性的な実験によって学習した変形の有効性を実証する。
プロジェクトページはhttp://shahrukhathar.github.io/2024/02/05/Rig3DGS.htmlにある。
関連論文リスト
- iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。
この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。
我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
論文 参考訳（メタデータ） (2024-07-15T18:51:51Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - SuperGaussian: Repurposing Video Models for 3D Super Resolution [67.19266415499139]
本稿では,幾何学的および外観的詳細を付加することにより,粗い3次元モデルをアップサンプルする,単純でモジュラーで汎用的な手法を提案する。
既存の3次元超解像モデルを直接再利用できることを実証する。
論文 参考訳（メタデータ） (2024-06-02T03:44:50Z) - Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh [44.57625460339714]
本稿では,3DGSを直接自己適応で操作する三角形メッシュを提案する。
提案手法は,高忠実度レンダリングを維持しつつ,大きな変形,局所的な操作,軟体シミュレーションを処理可能である。
論文 参考訳（メタデータ） (2024-05-28T04:13:21Z) - Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。
以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
論文 参考訳（メタデータ） (2024-04-29T12:57:05Z) - VOODOO 3D: Volumetric Portrait Disentanglement for One-Shot 3D Head
Reenactment [17.372274738231443]
そこで本研究では,ソースの出現とドライバ表現のための,完全に神経の絡み合ったフレームワークをベースとした3D認識型ワンショットヘッド再現手法を提案する。
提案手法はリアルタイムであり,ホログラフィックディスプレイに基づく3次元遠隔会議システムに適した高忠実・高精細な出力を実現する。
論文 参考訳（メタデータ） (2023-12-07T19:19:57Z) - DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation [66.7719069053058]
DeformGSは、複数のカメラからダイナミックなシーンを同時撮影することで、高度に変形可能なシーンのシーンフローを復元するアプローチである。
DeformGSは最先端と比較して平均55.8%の3Dトラッキングを改善している。
十分なテクスチャで、DeformGSは1.5 x 1.5 mの布の上で3.3mmの中央値追跡誤差を達成している。
論文 参考訳（メタデータ） (2023-11-30T18:53:03Z) - Drivable 3D Gaussian Avatars [26.346626608626057]
現在の乾燥可能なアバターは、トレーニング中に正確な3Dの登録が必要か、テスト中に高密度の入力画像が必要か、両方だ。
この研究は、最近発表された3D Gaussian Splatting(3DGS)技術を使って、リアルな人間をリアルタイムでフレームレートでレンダリングする。
サイズが小さくなると、これらの変形を関節角とキーポイントで駆動し、通信用途に適している。
論文 参考訳（メタデータ） (2023-11-14T22:54:29Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳（メタデータ） (2023-10-12T17:59:57Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。
近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。
マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
論文 参考訳（メタデータ） (2022-10-12T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。