論文の概要: PAV: Personalized Head Avatar from Unstructured Video Collection

• arxiv url: http://arxiv.org/abs/2407.21047v1
• Date: Mon, 22 Jul 2024 23:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 19:28:03.121094
• Title: PAV: Personalized Head Avatar from Unstructured Video Collection
• Title（参考訳）: PAV:非構造化ビデオコレクションからパーソナライズされたヘッドアバター
• Authors: Akin Caliskan, Berkay Kicanaoglu, Hyeongwoo Kim,
• Abstract要約: 任意の視点と表情下での人間の顔合成のためのPAV(Personalized Head Avatar)を提案する。 動的に変形可能なニューラルラジアンス場(NeRF)を学習する手法を提案する。 視覚的レンダリング品質の観点から,PAVがベースライン法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.137993563242585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose PAV, Personalized Head Avatar for the synthesis of human faces under arbitrary viewpoints and facial expressions. PAV introduces a method that learns a dynamic deformable neural radiance field (NeRF), in particular from a collection of monocular talking face videos of the same character under various appearance and shape changes. Unlike existing head NeRF methods that are limited to modeling such input videos on a per-appearance basis, our method allows for learning multi-appearance NeRFs, introducing appearance embedding for each input video via learnable latent neural features attached to the underlying geometry. Furthermore, the proposed appearance-conditioned density formulation facilitates the shape variation of the character, such as facial hair and soft tissues, in the radiance field prediction. To the best of our knowledge, our approach is the first dynamic deformable NeRF framework to model appearance and shape variations in a single unified network for multi-appearances of the same subject. We demonstrate experimentally that PAV outperforms the baseline method in terms of visual rendering quality in our quantitative and qualitative studies on various subjects.
• Abstract（参考訳）: 任意の視点と表情下での人間の顔合成のためのPAV, パーソナライズドヘッドアバターを提案する。 PAVは動的に変形可能なニューラルレイディアンスフィールド(NeRF)を学習する手法を導入する。 既存のヘッド型NeRF法とは違い,本手法では複数出現型NeRFを学習し,学習可能な潜伏型ニューラル特徴を付加して各入力ビデオに外観埋め込みを導入する。 さらに, 外観条件付き密度定式化は, 放射場予測において, 顔の毛髪や軟組織などのキャラクタの形状変化を促進する。 我々の知識を最大限に活用するために、我々のアプローチは、同一主題のマルチ出現のための単一の統一ネットワークにおいて、外観と形状のバリエーションをモデル化する初めての動的変形可能なNeRFフレームワークである。 種々の被験者を対象とした定量的・定性的研究において,PAVは視覚的レンダリング品質において,ベースライン法よりも優れることを示した。

関連論文リスト

• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars [84.85009267371218]
  本研究では,動的なフルヘッドアバターの外観を編集するテキストベースのAvatarStudioを提案する。 提案手法は,ニューラルフィールド(NeRF)を用いて人間の頭部のダイナミックなパフォーマンスを捉え,テキスト・ツー・イメージ拡散モデルを用いてこの表現を編集する。 提案手法は,全頭部を標準空間で編集し,事前学習した変形ネットワークを介して残時間ステップに伝達する。
  論文  参考訳（メタデータ） (2023-06-01T11:06:01Z)
• MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
  そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。 我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
  論文  参考訳（メタデータ） (2023-04-04T17:55:03Z)
• FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction and Expression Editing [27.014582934266492]
  本研究では,3次元顔の再構成と表現編集が可能な最初のNeRF方式であるFew-shot Dynamic Neural Radiance Field (FDNeRF)を提案する。 入力として高密度画像を必要とする既存の動的NeRFと異なり、単一のアイデンティティのためにのみモデル化できるため、少ないショット入力を持つ異なる人物間での顔再構成が可能となる。
  論文  参考訳（メタデータ） (2022-08-11T11:05:59Z)
• Neural Implicit Representations for Physical Parameter Inference from a Single Video [49.766574469284485]
  本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。 提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。 ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
  論文  参考訳（メタデータ） (2022-04-29T11:55:35Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Neural Head Avatars from Monocular RGB Videos [0.0]
  アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。 我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
  論文  参考訳（メタデータ） (2021-12-02T19:01:05Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction [9.747648609960185]
  本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
  論文  参考訳（メタデータ） (2020-12-05T16:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。