論文の概要: LokiTalk: Learning Fine-Grained and Generalizable Correspondences to Enhance NeRF-based Talking Head Synthesis

• arxiv url: http://arxiv.org/abs/2411.19525v2
• Date: Mon, 23 Dec 2024 14:15:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:22.060598
• Title: LokiTalk: Learning Fine-Grained and Generalizable Correspondences to Enhance NeRF-based Talking Head Synthesis
• Title（参考訳）: LokiTalk: NeRFベースのトーキングヘッド合成を支援するための細粒度および一般化可能な対応学習
• Authors: Tianqi Li, Ruobing Zheng, Bonan Li, Zicheng Zhang, Meng Wang, Jingdong Chen, Ming Yang,
• Abstract要約: ライフライクな顔のダイナミックスでNeRFをベースとした発話ヘッドを強化するフレームワークであるLokiTalkを提案する。 領域特異的変形場は、全体の肖像画の動きを唇の動き、点滅、頭部ポーズ、胴体の動きに分解する。 また,マルチアイデンティティビデオから動的および静的な対応を一般化するプラグイン・アンド・プレイモジュールであるID-Aware Knowledge Transferを提案する。
• 参考スコア（独自算出の注目度）: 32.089812569366764
• License:
• Abstract: Despite significant progress in talking head synthesis since the introduction of Neural Radiance Fields (NeRF), visual artifacts and high training costs persist as major obstacles to large-scale commercial adoption. We propose that identifying and establishing fine-grained and generalizable correspondences between driving signals and generated results can simultaneously resolve both problems. Here we present LokiTalk, a novel framework designed to enhance NeRF-based talking heads with lifelike facial dynamics and improved training efficiency. To achieve fine-grained correspondences, we introduce Region-Specific Deformation Fields, which decompose the overall portrait motion into lip movements, eye blinking, head pose, and torso movements. By hierarchically modeling the driving signals and their associated regions through two cascaded deformation fields, we significantly improve dynamic accuracy and minimize synthetic artifacts. Furthermore, we propose ID-Aware Knowledge Transfer, a plug-and-play module that learns generalizable dynamic and static correspondences from multi-identity videos, while simultaneously extracting ID-specific dynamic and static features to refine the depiction of individual characters. Comprehensive evaluations demonstrate that LokiTalk delivers superior high-fidelity results and training efficiency compared to previous methods. The code will be released upon acceptance.
• Abstract（参考訳）: ニューラル・レージアンス・フィールド (Neural Radiance Fields, NeRF) の導入以来、音声音声合成の進歩にもかかわらず、視覚的アーティファクトと高いトレーニングコストは、大規模な商業的採用の大きな障害として持続している。 本稿では、駆動信号と生成した結果の微粒化および一般化可能な対応の同定と確立を同時に行うことを提案する。 ここでは,ライフライクな顔力学とトレーニング効率の向上を両立させる新しいフレームワークであるLokiTalkを紹介する。 細粒度対応を実現するために,画像全体の動きを唇の動き,点滅,頭部ポーズ,胴体の動きに分解する領域特異的変形場を導入する。 2つのカスケード変形場を通して駆動信号とその関連領域を階層的にモデル化することにより、動的精度を著しく向上し、合成品を最小化する。 さらに,マルチアイデンティティビデオから動的・静的対応の一般化を学習するプラグイン・アンド・プレイモジュールであるID-Aware Knowledge Transferを提案し,同時にID固有の動的・静的な特徴を抽出し,個々の文字の描写を洗練させる。 総合評価の結果,LokiTalkは従来の手法よりも優れた高忠実度結果とトレーニング効率を提供することが示された。 コードは受理時にリリースされます。

関連論文リスト

• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Combo: Co-speech holistic 3D human motion generation and efficient customizable adaptation in harmony [55.26315526382004]
  共同音声合成のための新しいフレームワークComboを提案する。 特に、興味の生成モデルにおけるマルチインプット・マルチプル・アウトプットの性質として、基本的な課題があげられる。 コンボは高品質な動きを生み出すのに非常に効果的であるが、アイデンティティや感情の伝達にも効果的である。
  論文  参考訳（メタデータ） (2024-08-18T07:48:49Z)
• S^3D-NeRF: Single-Shot Speech-Driven Neural Radiance Field for High Fidelity Talking Head Synthesis [14.437741528053504]
  単一ショット音声駆動ラジアンス場(S3D-NeRF)法を設計し,各アイデンティティーに対する代表的外観特徴の学習,音声による異なる顔領域の動作のモデル化,唇領域の時間的一貫性の維持という3つの課題に対処する。 我々のS3D-NeRFは、ビデオの忠実さとオーディオ-リップ同期の両方において、過去の技術を上回っています。
  論文  参考訳（メタデータ） (2024-08-18T03:59:57Z)
• AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding [24.486705010561067]
  AniTalkerは、1つのポートレートから、生き生きとした話し顔を生成するために設計されたフレームワークである。 AniTalkerは、微妙な表情や頭の動きを含む、幅広い顔のダイナミクスを効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-05-06T02:32:41Z)
• TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting [21.474938045227702]
  本研究では,高忠実度音声ヘッド合成のための変形型放射場フレームワークであるTalkingGaussianを紹介する。 提案手法は, 従来の方法と比較して, 顔の忠実度と効率性を向上し, 高品質な唇同期音声ヘッドビデオを生成する。
  論文  参考訳（メタデータ） (2024-04-23T17:55:07Z)
• FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
  我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。 ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。 本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:59:48Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction [50.986371459817256]
  本稿では,VIRT と呼ばれる新しいtextitVirtual InteRacTion 機構を提案する。 VIRTは、表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣する仮想インタラクションを実行するよう要求する。
  論文  参考訳（メタデータ） (2021-12-08T09:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。