論文の概要: FG-Portrait: 3D Flow Guided Editable Portrait Animation

• arxiv url: http://arxiv.org/abs/2603.23381v1
• Date: Tue, 24 Mar 2026 16:09:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.579129
• Title: FG-Portrait: 3D Flow Guided Editable Portrait Animation
• Title（参考訳）: FG-Portrait: 3D Flow Guided Editable Portrait Animation
• Authors: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song,
• Abstract要約: ドライブからソースポートレートへのモーション転送は、ポートレートアニメーションにおいて依然として重要な課題である。 現在の拡散に基づくアプローチは、ソース間通信の取得に失敗する駆動運動にのみ適用される。 パラメトリックな3次元頭部モデルから直接計算した学習不要かつ幾何学駆動の運動対応である3Dフローを導入する。
• 参考スコア（独自算出の注目度）: 52.51549429089156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motion transfer from the driving to the source portrait remains a key challenge in the portrait animation. Current diffusion-based approaches condition only on the driving motion, which fails to capture source-to-driving correspondences and consequently yields suboptimal motion transfer. Although flow estimation provides an alternative, predicting dense correspondences from 2D input is ill-posed and often yields inaccurate animation. We address this problem by introducing 3D flows, a learning-free and geometry-driven motion correspondence directly computed from parametric 3D head models. To integrate this 3D prior into diffusion model, we introduce 3D flow encoding to query potential 3D flows for each target pixel to indicate its displacement back to the source location. To obtain 3D flows aligned with 2D motion changes, we further propose depth-guided sampling to accurately locate the corresponding 3D points for each pixel. Beyond high-fidelity portrait animation, our model further supports user-specified editing of facial expression and head pose. Extensive experiments demonstrate the superiority of our method on consistent driving motion transfer as well as faithful source identity preservation.
• Abstract（参考訳）: ドライブからソースポートレートへのモーション転送は、ポートレートアニメーションにおいて依然として重要な課題である。 現在の拡散に基づくアプローチは、ソースからドライブまでの通信を捕捉できない駆動運動にのみ適用され、その結果、準最適運動伝達が生じる。 フロー推定は代替となるが、2次元入力からの密度の高い対応を予測できないため、しばしば不正確なアニメーションが得られる。 パラメトリックな3次元頭部モデルから直接計算した学習自由かつ幾何学駆動の運動対応である3Dフローを導入することでこの問題に対処する。 拡散モデルにこの3D前処理を組み込むため,各画素に対する電位3Dフローを問合せする3Dフロー符号化を導入し,元の位置への変位を示す。 さらに,2次元運動変化に対応する3次元フローを得るために,各画素の対応する3次元点を正確に特定する深度誘導サンプリングを提案する。 高忠実度ポートレートアニメーション以外にも、ユーザ指定の表情と頭部ポーズの編集もサポートしています。 広範に実験を行った結果,一貫した駆動運動伝達における本手法の優位性,および忠実な音源識別の保存性を示した。

関連論文リスト

• In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
  Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。 テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
  論文  参考訳（メタデータ） (2025-04-11T09:01:09Z)
• 3D Face Tracking from 2D Video through Iterative Dense UV to Image Flow [15.479024531161476]
  本稿では,頂点ごとの高密度アライメントのための2次元アライメントネットワークを革新的に導入する新しいフェイストラッカーであるFlowFaceを提案する。 以前の作業とは異なり、FlowFaceは、弱い監視や合成データではなく、高品質な3Dスキャンアノテーションでトレーニングされている。 本手法は,カスタムベンチマークと公開ベンチマークの両方において,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T14:20:07Z)
• SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
  本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。 この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。 3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
  論文  参考訳（メタデータ） (2024-04-05T17:59:25Z)
• Realistic Human Motion Generation with Cross-Diffusion Models [30.854425772128568]
  クロスヒューマンモーション拡散モデル(クロスディフ) 拡散モデルのトレーニングでは,共有変圧器ネットワークを用いて3次元情報と2次元情報を統合する。 CrossDiffは、両方の表現の強みを効果的に組み合わせて、より現実的なモーションシーケンスを生成する。
  論文  参考訳（メタデータ） (2023-12-18T07:44:40Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。