論文の概要: Video-Driven Animation of Neural Head Avatars

• arxiv url: http://arxiv.org/abs/2403.04380v1
• Date: Thu, 7 Mar 2024 10:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 14:23:41.526302
• Title: Video-Driven Animation of Neural Head Avatars
• Title（参考訳）: ニューラルヘッドアバターの映像駆動アニメーション
• Authors: Wolfgang Paier and Paul Hinzer and Anna Hilsmann and Peter Eisert
• Abstract要約: 高品質なニューラル3Dヘッドモデルの映像駆動型アニメーションに対する新しいアプローチを提案する。 本研究では、個人に依存しない表現特徴をパーソナライズされたアニメーションパラメータに翻訳できるLSTMベースのアニメーションネットワークを提案する。
• 参考スコア（独自算出の注目度）: 3.5229503563299915
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a new approach for video-driven animation of high-quality neural 3D head models, addressing the challenge of person-independent animation from video input. Typically, high-quality generative models are learned for specific individuals from multi-view video footage, resulting in person-specific latent representations that drive the generation process. In order to achieve person-independent animation from video input, we introduce an LSTM-based animation network capable of translating person-independent expression features into personalized animation parameters of person-specific 3D head models. Our approach combines the advantages of personalized head models (high quality and realism) with the convenience of video-driven animation employing multi-person facial performance capture. We demonstrate the effectiveness of our approach on synthesized animations with high quality based on different source videos as well as an ablation study.
• Abstract（参考訳）: 本稿では,高品質なニューラル3Dヘッドモデルの映像駆動アニメーションに対する新しいアプローチを提案する。 典型的には、高品質な生成モデルは、マルチビュービデオ映像から特定の個人に学習され、生成プロセスを駆動する個人固有の潜在表現となる。 映像入力から人物非依存アニメーションを実現するために,人物非依存表現特徴を個人別3dヘッドモデルのパーソナライズアニメーションパラメータに変換することのできるlstmベースのアニメーションネットワークを提案する。 提案手法は,パーソナライズされた頭部モデル(高品質とリアリズム)の利点と,多対人顔パフォーマンスキャプチャを用いた映像駆動アニメーションの利便性を組み合わせたものである。 我々は,異なるソースビデオに基づく高品質な合成アニメーションに対するアプローチの有効性と,アブレーション研究の有効性を実証する。

関連論文リスト

• MMHead: Towards Fine-grained Multi-modal 3D Facial Animation [68.04052669266174]
  大規模なマルチモーダル3次元顔アニメーションデータセットMMHeadを構築した。 MMHeadは、49時間の3D顔の動きシーケンス、音声、リッチな階層的なテキストアノテーションで構成されている。 MMHeadデータセットに基づいて,テキストによる3次元対話ヘッドアニメーションとテキストから3次元の顔の動き生成という,2つの新しいタスクのベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-10T09:37:01Z)
• Bring Your Own Character: A Holistic Solution for Automatic Facial Animation Generation of Customized Characters [24.615066741391125]
  仮想顔を自動的にアニメーションする総合的なソリューションを提案する。 深層学習モデルはまず、入力された顔画像から仮想人間の顔への表情の再ターゲティングを訓練した。 Unity 3Dを使った実用的なツールキットが開発され、最も人気のあるVRアプリケーションと互換性がある。
  論文  参考訳（メタデータ） (2024-02-21T11:35:20Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• Audio-Driven 3D Facial Animation from In-the-Wild Videos [16.76533748243908]
  任意のオーディオクリップが与えられたとき、オーディオ駆動の3D顔アニメーションは、ライフスタイルの唇の動きと3Dヘッドのための表情を生成することを目的としている。 既存の方法は、通常、限られた数のオーディオ3Dスキャンペアを含む限られたパブリックな3Dデータセットを使用してモデルをトレーニングすることに依存する。 そこで本研究では,3次元顔アニメーションモデルをトレーニングするために,この2次元対話ヘッドビデオを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-20T13:53:05Z)
• AnimeCeleb: Large-Scale Animation CelebFaces Dataset via Controllable 3D Synthetic Models [19.6347170450874]
  制御可能な合成アニメーションモデルを用いて,大規模なアニメーションセロブフェイスデータセット(AnimeCeleb)を提案する。 データ生成プロセスを容易にするため,オープンな3Dソフトウェアに基づく半自動パイプラインを構築した。 これにより、多目的および多スタイルのアニメーションフェースとリッチアノテーションを備えた大規模なアニメーションフェースデータセットを構築することができる。
  論文  参考訳（メタデータ） (2021-11-15T10:00:06Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Going beyond Free Viewpoint: Creating Animatable Volumetric Video of Human Performances [7.7824496657259665]
  本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。 セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。 ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
  論文  参考訳（メタデータ） (2020-09-02T09:46:12Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)
• Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose [67.31838207805573]
  本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。 我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。 提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
  論文  参考訳（メタデータ） (2020-02-24T10:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。