論文の概要: Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar

• arxiv url: http://arxiv.org/abs/2307.05000v2
• Date: Fri, 13 Oct 2023 11:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 17:27:35.673110
• Title: Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar
• Title（参考訳）: ニューラルポイントに基づく容積アバター:高効率で光現実的な容積ヘッドアバターのための表面誘導ニューラルポイント
• Authors: Cong Wang, Di Kang, Yan-Pei Cao, Linchao Bao, Ying Shan, Song-Hai Zhang
• Abstract要約: ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
• 参考スコア（独自算出の注目度）: 62.87222308616711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rendering photorealistic and dynamically moving human heads is crucial for ensuring a pleasant and immersive experience in AR/VR and video conferencing applications. However, existing methods often struggle to model challenging facial regions (e.g., mouth interior, eyes, hair/beard), resulting in unrealistic and blurry results. In this paper, we propose {\fullname} ({\name}), a method that adopts the neural point representation as well as the neural volume rendering process and discards the predefined connectivity and hard correspondence imposed by mesh-based approaches. Specifically, the neural points are strategically constrained around the surface of the target expression via a high-resolution UV displacement map, achieving increased modeling capacity and more accurate control. We introduce three technical innovations to improve the rendering and training efficiency: a patch-wise depth-guided (shading point) sampling strategy, a lightweight radiance decoding process, and a Grid-Error-Patch (GEP) ray sampling strategy during training. By design, our {\name} is better equipped to handle topologically changing regions and thin structures while also ensuring accurate expression control when animating avatars. Experiments conducted on three subjects from the Multiface dataset demonstrate the effectiveness of our designs, outperforming previous state-of-the-art methods, especially in handling challenging facial regions.
• Abstract（参考訳）: ar/vrおよびビデオ会議アプリケーションにおける快適で没入的な体験を確保するには、フォトリアリスティックで動的に動く人間の頭部のレンダリングが不可欠である。 しかし、既存の方法は、しばしば挑戦的な顔領域(例えば、口内、目、髪、ひげ)をモデル化するのに苦労し、非現実的でぼやけた結果をもたらす。 本稿では,ニューラルポイント表現とニューラルボリュームレンダリングを併用し,メッシュベースアプローチによって課される事前定義された接続性とハード対応を破棄する手法である {\fullname} ({\name})を提案する。 具体的には、高分解能uv変位マップを介してターゲット式の表面を戦略的に制約し、モデリング能力の向上とより正確な制御を実現する。 本稿では3つの技術革新を導入してレンダリングとトレーニングの効率化を図る: パッチワイド深度誘導(シェーディングポイント)サンプリング戦略、軽量ラディアンス復号法、およびトレーニング中のグリッド・エラー・パッチ(GEP)レイサンプリング戦略である。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を処理できる。 また,Multifaceデータセットから得られた3つの実験により,従来の最先端手法,特に難易度の高い顔領域の処理において,設計の有効性を実証した。

関連論文リスト

• Efficient 3D Implicit Head Avatar with Mesh-anchored Hash Table Blendshapes [40.35875246929843]
  ニューラルな暗黙の表現で構築された3Dヘッドアバターは、前例のないレベルのフォトリアリズムを達成した。 本研究では,高速な3次元暗黙的頭部アバターモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-02T00:55:50Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• High-Fidelity 3D Head Avatars Reconstruction through Spatially-Varying Expression Conditioned Neural Radiance Field [44.37605022793316]
  本稿では,空間変動表現(SVE)の条件付けについて紹介する。 提案したSVE条件のニューラルラジアンス場は複雑な表情に対処でき、高忠実度3Dヘッドアバターのリアルなレンダリングと幾何学的詳細を実現することができる。 提案手法は,携帯電話および公開データセット上でのレンダリングおよび幾何学的品質において,他の最先端(SOTA)手法よりも優れる。
  論文  参考訳（メタデータ） (2023-10-10T03:13:33Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Neural Lumigraph Rendering [33.676795978166375]
  最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。 本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。 我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
  論文  参考訳（メタデータ） (2021-03-22T03:46:05Z)
• PVA: Pixel-aligned Volumetric Avatars [34.929560973779466]
  少数の入力から人間の頭部の体積アバターを予測するための新しいアプローチを考案する。 提案手法は,光度再レンダリングによる損失のみを前提としたエンドツーエンドで,明示的な3次元監視を必要とせずに訓練を行う。
  論文  参考訳（メタデータ） (2021-01-07T18:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。