論文の概要: Deep Learning Based Facial Retargeting Using Local Patches

• arxiv url: http://arxiv.org/abs/2601.08429v1
• Date: Tue, 13 Jan 2026 10:56:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.159831
• Title: Deep Learning Based Facial Retargeting Using Local Patches
• Title（参考訳）: 局所的パッチを用いた深層学習による顔のリターゲティング
• Authors: Yeonsoo Choi, Inyup Lee, Sihun Cha, Seonghyeon Kim, Sunjin Jung, Junyong Noh,
• Abstract要約: そこで本研究では,ソースパフォーマンスビデオで捉えた顔のアニメーションをターゲット3Dキャラクタに転送するパッチベースの局所的手法を提案する。 提案手法は, 顔の特徴比がかなり異なるスタイル化文字に対して, 顔の表現の意味を意味づけることに成功している。
• 参考スコア（独自算出の注目度）: 14.93331485580316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of digital animation, the quest to produce lifelike facial animations for virtual characters has led to the development of various retargeting methods. While the retargeting facial motion between models of similar shapes has been very successful, challenges arise when the retargeting is performed on stylized or exaggerated 3D characters that deviate significantly from human facial structures. In this scenario, it is important to consider the target character's facial structure and possible range of motion to preserve the semantics assumed by the original facial motions after the retargeting. To achieve this, we propose a local patch-based retargeting method that transfers facial animations captured in a source performance video to a target stylized 3D character. Our method consists of three modules. The Automatic Patch Extraction Module extracts local patches from the source video frame. These patches are processed through the Reenactment Module to generate correspondingly re-enacted target local patches. The Weight Estimation Module calculates the animation parameters for the target character at every frame for the creation of a complete facial animation sequence. Extensive experiments demonstrate that our method can successfully transfer the semantic meaning of source facial expressions to stylized characters with considerable variations in facial feature proportion.
• Abstract（参考訳）: デジタルアニメーションの時代、仮想キャラクタのためのライフライクな顔アニメーションを創り出そうとする試みは、様々なリターゲティング手法の開発に繋がった。 類似形状のモデル間での顔の動きのリターゲティングは非常に成功しているが、人間の顔構造から著しく逸脱した3Dキャラクタをスタイリングまたは誇張した3Dキャラクタで再ターゲティングを行うと、課題が生じる。 このシナリオでは、ターゲットキャラクターの顔の構造と、再ターゲティング後の元の顔の動きが仮定した意味を保存するための動作範囲を考えることが重要である。 そこで本研究では,ソースパフォーマンスビデオで捉えた顔のアニメーションをターゲットの3Dキャラクタに転送する,局所的なパッチベースのリターゲティング手法を提案する。 私たちの方法は3つのモジュールから成る。 自動パッチ抽出モジュールは、ソースビデオフレームからローカルパッチを抽出する。 これらのパッチはReenactment Moduleを通して処理され、対応する再実行されたターゲットローカルパッチを生成する。 重み推定モジュールは、完全な顔アニメーションシーケンスを作成するために、各フレームにおけるターゲット文字のアニメーションパラメータを算出する。 大規模な実験により, 顔の特徴比がかなり異なる文体化文字に対して, 表情の意味的意味を伝達できることが実証された。

関連論文リスト

• Wan-Animate: Unified Character Animation and Replacement with Holistic Replication [53.619006977292635]
  文字アニメーションと置き換えのための統合フレームワークであるWan-Animateを紹介する。 映像中のキャラクタの表情や動きを正確に再現し、高忠実度キャラクタビデオを生成することにより、キャラクタをアニメーション化することができる。 アニメーションキャラクタをリファレンスビデオに統合して、元のキャラクタを置き換えることで、シーンのライティングと色調を再現することができる。
  論文  参考訳（メタデータ） (2025-09-17T15:00:57Z)
• FaceShot: Bring Any Character into Life [26.99093361595318]
  FaceShotはトレーニングなしのポートレートアニメーションフレームワークで、任意のキャラクターを、微調整やリトレーニングをすることなく、駆動ビデオから生き返らせるように設計されている。 我々は、外観誘導型ランドマークマッチングモジュールと座標に基づくランドマークマッチングモジュールからロバストなランドマークシーケンスを提供することにより、これを実現する。 この強力な一般化機能により、FaceShotはポートレートアニメーションの応用を大幅に拡張できる。
  論文  参考訳（メタデータ） (2025-03-02T05:35:57Z)
• Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation [5.591489936998095]
  本稿では,この制限に対処するために3次元モーフィブルモデルを利用する顔のランドマーク変換(Falcial Landmarks Transformation)手法を提案する。 2Dのランドマークを3Dのフェイスモデルに変換し、3Dのフェイスモデルを調整して参照のアイデンティティと整合させ、2Dのランドマークに戻す。 このアプローチにより、参照顔形状との正確なアライメントが保証され、生成されたビデオと参照画像の一貫性が向上する。
  論文  参考訳（メタデータ） (2024-12-12T06:13:32Z)
• Replace Anyone in Videos [82.37852750357331]
  ReplaceAnyoneフレームワークは、複雑な背景を特徴とする、局所的な人間の置換と挿入に焦点を当てたフレームワークである。 我々は,このタスクを,一貫したエンド・ツー・エンドビデオ拡散アーキテクチャを用いて,ポーズガイダンスを用いた画像条件付きビデオ塗装パラダイムとして定式化する。 提案されたReplaceAnyoneは従来の3D-UNetベースモデルだけでなく、Wan2.1のようなDiTベースのビデオモデルにもシームレスに適用できる。
  論文  参考訳（メタデータ） (2024-09-30T03:27:33Z)
• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space [38.940128217895115]
  本稿では,顔の動きを終末的にキャプチャーと組み合わせたVersatile Face Animatorを提案する。 1) 階層的な動き辞書を用いて生のRGBDビデオから顔の動きを学習し, 任意の3D文字で表情をアニメーションできるRGBDアニメーションモジュールを提案する。 総合的な実験により,提案手法が印象的な3次元顔画像生成に有効であることを実証した。
  論文  参考訳（メタデータ） (2023-08-11T11:29:01Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Deep Spatial Transformation for Pose-Guided Person Image Generation and Animation [50.10989443332995]
  ポーズ誘導型人物画像生成とアニメーションは、元人物画像をターゲットポーズに変換することを目的としている。 畳み込みニューラルネットワークは、入力を空間的に変換する能力の欠如によって制限される。 本稿では,機能レベルでのインプットを再構築するグローバルフロー局所アテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-27T08:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。