論文の概要: CVTHead: One-shot Controllable Head Avatar with Vertex-feature Transformer

• arxiv url: http://arxiv.org/abs/2311.06443v1
• Date: Sat, 11 Nov 2023 00:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 18:33:25.251793
• Title: CVTHead: One-shot Controllable Head Avatar with Vertex-feature Transformer
• Title（参考訳）: CVTHead:Vertex-Feature Transformer付きワンショット制御可能なヘッドアバター
• Authors: Haoyu Ma, Tong Zhang, Shanlin Sun, Xiangyi Yan, Kun Han, Xiaohui Xie
• Abstract要約: 本稿では,単一参照画像から制御可能なニューラルヘッドアバターを生成する新しいアプローチであるHeadを紹介する。 Headは最先端のグラフィックスベースの手法に匹敵するパフォーマンスを実現している。 様々な表情、ポーズ、カメラビューで、斬新な人間の頭部の効率的なレンダリングを可能にする。
• 参考スコア（独自算出の注目度）: 29.718316669835954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing personalized animatable head avatars has significant implications in the fields of AR/VR. Existing methods for achieving explicit face control of 3D Morphable Models (3DMM) typically rely on multi-view images or videos of a single subject, making the reconstruction process complex. Additionally, the traditional rendering pipeline is time-consuming, limiting real-time animation possibilities. In this paper, we introduce CVTHead, a novel approach that generates controllable neural head avatars from a single reference image using point-based neural rendering. CVTHead considers the sparse vertices of mesh as the point set and employs the proposed Vertex-feature Transformer to learn local feature descriptors for each vertex. This enables the modeling of long-range dependencies among all the vertices. Experimental results on the VoxCeleb dataset demonstrate that CVTHead achieves comparable performance to state-of-the-art graphics-based methods. Moreover, it enables efficient rendering of novel human heads with various expressions, head poses, and camera views. These attributes can be explicitly controlled using the coefficients of 3DMMs, facilitating versatile and realistic animation in real-time scenarios.
• Abstract（参考訳）: パーソナライズ可能な頭部アバターの再構成は、AR/VRの分野で重要な意味を持つ。 3Dモデル(3DMM)の明示的な顔制御を実現するための既存の方法は、通常、単一の対象の多視点画像やビデオに依存しており、再構成プロセスは複雑である。 さらに、従来のレンダリングパイプラインは時間がかかり、リアルタイムアニメーションの可能性を制限する。 本稿では,単一参照画像から点ベースニューラルネットワークによる制御可能なニューラルネットワークアバターを生成する新しいアプローチであるcvtheadを提案する。 CVTHeadは、メッシュのスパース頂点をポイントセットとみなし、提案したVertex-Feature Transformerを使用して各頂点のローカル特徴記述子を学習する。 これにより、すべての頂点間の長距離依存性のモデリングが可能になる。 VoxCelebデータセットの実験結果は、CVTHeadが最先端のグラフィックスベースの手法と同等のパフォーマンスを達成することを示した。 さらに, 表情, ポーズ, カメラビューの異なる新規な人間の頭部の効率的なレンダリングを可能にする。 これらの属性は、3dmmの係数を使って明示的に制御でき、リアルタイムシナリオで多用途でリアルなアニメーションが容易になる。

関連論文リスト

• FAGhead: Fully Animate Gaussian Head from Monocular Videos [2.9979421496374683]
  FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。 従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。 アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
  論文  参考訳（メタデータ） (2024-06-27T10:40:35Z)
• InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [40.10906393484584]
  本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。 本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。 提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-12-03T18:59:15Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。