論文の概要: HQ3DAvatar: High Quality Controllable 3D Head Avatar

• arxiv url: http://arxiv.org/abs/2303.14471v1
• Date: Sat, 25 Mar 2023 13:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 19:34:33.972323
• Title: HQ3DAvatar: High Quality Controllable 3D Head Avatar
• Title（参考訳）: HQ3DAvatar:高品質な3Dヘッドアバター
• Authors: Kartik Teotia, Mallikarjun B R, Xingang Pan, Hyeongwoo Kim, Pablo Garrido, Mohamed Elgharib, Christian Theobalt
• Abstract要約: 本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
• 参考スコア（独自算出の注目度）: 65.70885416855782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-view volumetric rendering techniques have recently shown great potential in modeling and synthesizing high-quality head avatars. A common approach to capture full head dynamic performances is to track the underlying geometry using a mesh-based template or 3D cube-based graphics primitives. While these model-based approaches achieve promising results, they often fail to learn complex geometric details such as the mouth interior, hair, and topological changes over time. This paper presents a novel approach to building highly photorealistic digital head avatars. Our method learns a canonical space via an implicit function parameterized by a neural network. It leverages multiresolution hash encoding in the learned feature space, allowing for high-quality, faster training and high-resolution rendering. At test time, our method is driven by a monocular RGB video. Here, an image encoder extracts face-specific features that also condition the learnable canonical space. This encourages deformation-dependent texture variations during training. We also propose a novel optical flow based loss that ensures correspondences in the learned canonical space, thus encouraging artifact-free and temporally consistent renderings. We show results on challenging facial expressions and show free-viewpoint renderings at interactive real-time rates for medium image resolutions. Our method outperforms all existing approaches, both visually and numerically. We will release our multiple-identity dataset to encourage further research. Our Project page is available at: https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/
• Abstract（参考訳）: マルチビューボリュームレンダリング技術は近年,高品質な頭部アバターのモデリングと合成に大きな可能性を示している。 フルヘッドのダイナミックパフォーマンスをキャプチャする一般的なアプローチは、メッシュベースのテンプレートや3d立方体ベースのグラフィックプリミティブを使用して基盤となる幾何学を追跡することだ。 これらのモデルに基づくアプローチは有望な結果をもたらすが、口内、毛髪、トポロジカルな変化といった複雑な幾何学的詳細を時間とともに学ばないことが多い。 本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 学習した特徴空間におけるマルチレゾリューションハッシュエンコーディングを活用し、高品質で高速なトレーニングと高解像度のレンダリングを可能にする。 テスト時,本手法は単眼のRGBビデオによって駆動される。 ここで、画像エンコーダは学習可能な標準空間を条件とした顔特有の特徴を抽出する。 これにより、トレーニング中の変形に依存したテクスチャの変化が促進される。 また,学習された正準空間の対応を保証し,アーティファクトフリーかつ時間的一貫性のあるレンダリングを奨励する,新しい光フローベース損失を提案する。 表情の難易度に関する結果を示し,メディア解像度のインタラクティブなリアルタイムレートで自由視点レンダリングを示す。 提案手法は, 視覚的および数値的に, 既存のアプローチを上回っている。 さらなる研究を促進するために、マルチアイデンティティデータセットをリリースします。 私たちのプロジェクトページは、https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/で利用可能です。

関連論文リスト

• Efficient 3D Implicit Head Avatar with Mesh-anchored Hash Table Blendshapes [40.35875246929843]
  ニューラルな暗黙の表現で構築された3Dヘッドアバターは、前例のないレベルのフォトリアリズムを達成した。 本研究では,高速な3次元暗黙的頭部アバターモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-02T00:55:50Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• KeypointNeRF: Generalizing Image-based Volumetric Avatars using Relative Spatial Encoding of Keypoints [28.234772596912165]
  スパースビューから高忠実度体積アバターをモデル化するための高効率なアプローチを提案する。 鍵となるアイデアの1つは、スパース3Dキーポイントを介して相対空間の3D情報を符号化することである。 実験の結果,先行作業における誤りの大部分は,空間符号化の不適切な選択に起因することがわかった。
  論文  参考訳（メタデータ） (2022-05-10T15:57:03Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。