論文の概要: ViDS: Video Diffusion Shader using 3D Face Tracking

• arxiv url: http://arxiv.org/abs/2607.24124v1
• Date: Mon, 27 Jul 2026 08:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.353445
• Title: ViDS: Video Diffusion Shader using 3D Face Tracking
• Title（参考訳）: ViDS:3D顔追跡によるビデオ拡散シェーダ
• Abstract要約: ViDSはビデオ拡散シェーダで、3D顔追跡を利用して表現力とアイデンティティを保存したポートレートアニメーションを提供する。 まず、参照画像からID固有の3DMMメッシュを再構成し、それから表現を用いてアニメーション化し、駆動ビデオからパラメータを合成する。
• 参考スコア（独自算出の注目度）: 47.821251055439795
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce ViDS, a Video Diffusion Shader that leverages 3D face tracking for expressive and identity-preserving portrait animation. We first reconstruct the identity-specific 3DMM mesh from the reference image, and then animate it using expression and pose parameters from a driving video. Leveraging dense geometric cues from 3DMM normal maps, we employ a video diffusion model as a neural shader to synthesize lifelike portrait animations while preserving the appearance and identity of the reference image. We find that more accurate 3DMM tracking enables finer-grained expression control. We also introduce an autoregressive diffusion sampling process that extends generation beyond the model's native window while reducing discontinuities between adjacent clips. Compared with prior diffusion-based approaches for portrait animation that rely on landmark-based conditioning or implicit motion latents, our method achieves more detailed and consistent expression and pose control while faithfully preserving identity and appearance. Detailed ablation studies validate the effectiveness of our design choices. Project page: https://fusheng-ji.github.io/ViDS/
• Abstract（参考訳）: 我々は,3次元顔追跡を利用した映像拡散シェーダであるViDSを紹介した。 まず、参照画像からID固有の3DMMメッシュを再構成し、それから表現を用いてアニメーション化し、駆動ビデオからパラメータを合成する。 3DMM正規地図から高密度な幾何学的手がかりを活用することで,映像拡散モデルをニューラルシェーダとして利用し,画像の外観とアイデンティティを保ちながら,ライフライクなポートレートアニメーションを合成する。 より正確な3DMMトラッキングは、よりきめ細かい表現制御を可能にする。 また、隣接するクリップ間の不連続性を低減しつつ、モデルのネイティブウィンドウを超えて生成を拡大する自己回帰拡散サンプリングプロセスも導入する。 ランドマークに基づくコンディショニングや暗黙の動作ラテントに頼ったアニメーションに対する従来の拡散に基づくアプローチと比較して,本手法はより詳細で一貫した表現を実現し,アイデンティティと外観を忠実に保ちながらポーズ制御を行う。 詳細なアブレーション研究は、我々の設計選択の有効性を検証する。 プロジェクトページ:https://fusheng-ji.github.io/ViDS/

関連論文リスト

• ActionMesh: Animated 3D Mesh Generation with Temporal 3D Diffusion [32.32525061239629]
  アクションフィードフォワードの準備が可能なアクション対応3Dモデル。 自動3Dコーダは2つの入力を持つ3Dメッシュを生成する。 2つの入力で3次元形状を抽出する。
  論文  参考訳（メタデータ） (2026-01-22T17:41:13Z)
• Instant Expressive Gaussian Head Avatar via 3D-Aware Expression Distillation [46.27695095774081]
  2次元拡散法は、しばしば3次元の一貫性と速度を損なう。 3D対応の顔アニメーションフィードフォワード法は、3D一貫性を確保し、より高速な推論速度を実現する。 我々の手法は107.31 FPSでアニメーションとポーズの制御を行い、最先端のアニメーションに匹敵する品質を実現している。
  論文  参考訳（メタデータ） (2025-12-18T18:53:28Z)
• MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance [25.366082874509612]
  本稿では,3次元顔パラメトリックモデルを潜在拡散フレームワークに統合した映像顔再現手法を提案する。 本手法では, 3次元顔パラメトリック表現として, FLAME(Articulated Model and Expressions)モデルを用いる。 提案手法は,高精度な表情表現と頭部ポーズ変動モデルを用いて,高品質な顔アニメーションを生成するのに優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-30T10:30:46Z)
• Vista3D: Unravel the 3D Darkside of a Single Image [64.00066024235088]
  Vista3Dは、わずか5分で素早く一貫した3D生成を実現するフレームワークである。 粗い位相では、1つの画像からガウススプラッティングで初期幾何学を高速に生成する。 2つの独立な暗黙関数を持つ非絡み合った表現を使用することで、生成の質を高める。
  論文  参考訳（メタデータ） (2024-09-18T17:59:44Z)
• MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation [10.263762787854862]
  本稿では,ビデオ拡散モデルから抽出した動きに基づいて,様々な3次元形状の自動アニメーションを行う手法を提案する。 既存のコンピュータグラフィックスパイプラインと互換性のあるメッシュベースの明示的な表現を活用します。 我々の時間効率ゼロショット法は,多種多様な3次元形状を再アニメーションする優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T15:30:38Z)
• MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion [57.90404618420159]
  本稿では3次元モーション生成手法であるマルチビューアンセストラルサンプリング(MAS)を紹介する。 MASは、同じ3Dモーションの異なるビューを表す複数の2Dモーションシーケンスを同時に認知することで機能する。 プロバスケットボールの操り方を描いたビデオから得られた2DポーズデータをMASで実証する。
  論文  参考訳（メタデータ） (2023-10-23T09:05:18Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation [33.651156455111916]
  本稿では,3DMMの3次元動き係数(頭部ポーズ,表情)を音声から生成するSadTalkerを提案する。 正確には、3Dレンダリングされた顔の両係数を蒸留することにより、音声から正確な表情を学習するExpNetを提案する。
  論文  参考訳（メタデータ） (2022-11-22T11:35:07Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• Tracking People with 3D Representations [78.97070307547283]
  ビデオ中の複数の人物を追跡する新しい手法を提案する。 従来の2次元表現を用いたアプローチとは違って,3次元空間における人物の3次元表現を用いる。 これらの環境下での3次元表現は2次元表現よりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2021-11-15T16:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。