論文の概要: TalkinNeRF: Animatable Neural Fields for Full-Body Talking Humans

• arxiv url: http://arxiv.org/abs/2409.16666v1
• Date: Wed, 25 Sep 2024 06:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 05:12:32.847081
• Title: TalkinNeRF: Animatable Neural Fields for Full-Body Talking Humans
• Title（参考訳）: TalkinNeRF: フルボディートーキング人間のためのアニマタブルニューラルネットワーク
• Authors: Aggelina Chatziagapi, Bindita Chaudhuri, Amit Kumar, Rakesh Ranjan, Dimitris Samaras, Nikolaos Sarafianos,
• Abstract要約: モノクラービデオからフルボディ音声のための動的ニューラルラジアンス場(NeRF)を学習する新しいフレームワークを提案する。 本研究では,全身的な4次元動作を表現したNeRFベースの統合ネットワークであるTalkinNeRFを提案する。 本研究は,手話の細粒化と表情によるフルボディ音声のアニメーションのための最先端性能を実証する。
• 参考スコア（独自算出の注目度）: 30.446983589264182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel framework that learns a dynamic neural radiance field (NeRF) for full-body talking humans from monocular videos. Prior work represents only the body pose or the face. However, humans communicate with their full body, combining body pose, hand gestures, as well as facial expressions. In this work, we propose TalkinNeRF, a unified NeRF-based network that represents the holistic 4D human motion. Given a monocular video of a subject, we learn corresponding modules for the body, face, and hands, that are combined together to generate the final result. To capture complex finger articulation, we learn an additional deformation field for the hands. Our multi-identity representation enables simultaneous training for multiple subjects, as well as robust animation under completely unseen poses. It can also generalize to novel identities, given only a short video as input. We demonstrate state-of-the-art performance for animating full-body talking humans, with fine-grained hand articulation and facial expressions.
• Abstract（参考訳）: モノクラービデオからフルボディ音声のための動的ニューラルラジアンス場(NeRF)を学習する新しいフレームワークを提案する。 前作では、身体のポーズや顔のみを表現している。 しかし、人間は全身とコミュニケーションを取り、身体のポーズ、手の動き、表情を組み合わせている。 本研究では,全身的な4次元人間の動きを表すNeRFベースのネットワークであるTalkinNeRFを提案する。 被験者のモノラルな映像が与えられたら、体、顔、手に対応するモジュールが組み合わされ、最終的な結果が生成される。 複雑な指の関節をつかむために,手に対する付加的な変形場を学習する。 マルチアイデンティティ表現は、複数の被験者の同時訓練と、全く見えないポーズ下でのロバストなアニメーションを可能にする。 また、入力として短いビデオのみを与えられた新しいアイデンティティに一般化することもできる。 そこで,本研究では,手話音声と表情のきめ細やかな表現により,全身の話し声をアニメーション化するための最先端性能を実証する。

関連論文リスト

• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping [47.49549115570664]
  既存の方法は、手と頭を無視して、身体の主肢に焦点を合わせている。手は別々に研究されているが、対象物の現実的な静的な把握に焦点が当てられている。 我々は、全体の動きと現実的な手の動きを同時に生成する必要がある。 本研究では,未知の物体をつかむアバターの全身,手,頭部の動きを初めて生成する問題に対処する。
  論文  参考訳（メタデータ） (2021-12-21T18:59:34Z)
• SAGA: Stochastic Whole-Body Grasping with Contact [60.43627793243098]
  人間の握り合成には、AR/VR、ビデオゲーム、ロボット工学など多くの応用がある。 本研究の目的は,体全体をつかむ動作を合成することである。3次元物体が与えられたら,物体に接近してつかむような,多様で自然な人体の動きを生成することを目的としている。
  論文  参考訳（メタデータ） (2021-12-19T10:15:30Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)
• Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose [67.31838207805573]
  本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。 我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。 提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
  論文  参考訳（メタデータ） (2020-02-24T10:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。