論文の概要: Efficient and Robust Video Defense Framework against 3D-field Personalized Talking Face
- arxiv url: http://arxiv.org/abs/2512.21019v1
- Date: Wed, 24 Dec 2025 07:26:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-25 19:43:21.717205
- Title: Efficient and Robust Video Defense Framework against 3D-field Personalized Talking Face
- Title（参考訳）: 3次元フィールド対話顔に対する高能率かつロバストなビデオ防衛フレームワーク
- Authors: Rui-qing Sun, Xingshan Yao, Tian Lan, Hui-Yang Zhao, Jia-Ling Shi, Chen-Hao Cui, Zhijing Wu, Chen Yang, Xian-Ling Mao,
- Abstract要約: 最先端の3D-field video-referenced Talking Face Generation (TFG) 手法は,高忠実度パーソナライズされた対面映像をリアルタイムに合成する。
この機能は、個人肖像画の悪意ある誤用に関する重要なプライバシー上の懸念を引き起こす。
本稿では,3次元フィールドTFG法に対する新しい,効率的なビデオ防御フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 23.744916887231636
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: State-of-the-art 3D-field video-referenced Talking Face Generation (TFG) methods synthesize high-fidelity personalized talking-face videos in real time by modeling 3D geometry and appearance from reference portrait video. This capability raises significant privacy concerns regarding malicious misuse of personal portraits. However, no efficient defense framework exists to protect such videos against 3D-field TFG methods. While image-based defenses could apply per-frame 2D perturbations, they incur prohibitive computational costs, severe video quality degradation, failing to disrupt 3D information for video protection. To address this, we propose a novel and efficient video defense framework against 3D-field TFG methods, which protects portrait video by perturbing the 3D information acquisition process while maintain high-fidelity video quality. Specifically, our method introduces: (1) a similarity-guided parameter sharing mechanism for computational efficiency, and (2) a multi-scale dual-domain attention module to jointly optimize spatial-frequency perturbations. Extensive experiments demonstrate that our proposed framework exhibits strong defense capability and achieves a 47x acceleration over the fastest baseline while maintaining high fidelity. Moreover, it remains robust against scaling operations and state-of-the-art purification attacks, and the effectiveness of our design choices is further validated through ablation studies. Our project is available at https://github.com/Richen7418/VDF.
- Abstract（参考訳）: 最新技術である3D-field video-referenced Talking Face Generation (TFG)法は、3D幾何をモデル化し、参照ポートレートビデオからの外観をモデル化することにより、高忠実度パーソナライズされた対面映像をリアルタイムで合成する。
この機能は、個人肖像画の悪意ある誤用に関する重要なプライバシー上の懸念を引き起こす。
しかし、3DフィールドTFG法からこのような映像を保護するための効率的な防御フレームワークは存在しない。
画像ベースのディフェンスはフレームごとの2D摂動を応用できるが、計算コストの禁止、ビデオ品質の悪化、ビデオ保護のための3D情報の破壊に失敗している。
そこで本研究では,高精細度映像の品質を維持しつつ,3次元情報取得過程を摂動させることにより,3次元フィールドTFG法に対する新規かつ効率的な映像防衛フレームワークを提案する。
具体的には,(1)計算効率向上のための類似性誘導パラメータ共有機構,(2)空間周波数摂動を協調的に最適化するマルチスケールデュアルドメインアテンションモジュールを提案する。
大規模実験により,提案フレームワークは高い防御能力を示し,高い忠実性を維持しつつ,最速のベースライン上で47倍の加速を実現していることが示された。
さらに, スケーリング操作や最先端の浄化攻撃に対して頑健であり, 設計選択の有効性はアブレーション研究によってさらに検証されている。
私たちのプロジェクトはhttps://github.com/Richen7418/VDF.comで公開されています。
関連論文リスト
- ShapeGen4D: Towards High Quality 4D Shape Generation from Videos [85.45517487721257]
ビデオからエンドツーエンドに1つの動的3次元表現を合成する,ネイティブなビデオから4次元の形状生成フレームワークを提案する。
本手法は,フレームごとの最適化を行なわずに,非剛性運動,体積変化,および位相遷移を正確にキャプチャする。
論文 参考訳（メタデータ） (2025-10-07T17:58:11Z) - S^2VG: 3D Stereoscopic and Spatial Video Generation via Denoising Frame Matrix [60.060882467801484]
そこで本研究では,既製の単眼ビデオ生成モデルを利用して,没入型3Dビデオを生成する,ポーズフリーかつトレーニングフリーな手法を提案する。
提案手法はまず,生成したモノクロ映像を推定深度情報を用いて予め定義されたカメラ視点にワープし,新しいテキストフレーム・マトリクス・インペイント・フレームワークを適用した。
提案手法の有効性は,Sora, Lumiere, WALT, Zeroscope など,様々な生成モデルを用いた実験により検証した。
論文 参考訳（メタデータ） (2025-08-11T14:50:03Z) - VoluMe -- Authentic 3D Video Calls from Live Gaussian Splat Prediction [9.570954192915005]
本稿では,1つの2次元ウェブカメラフィードから3次元ガウス復元をリアルタイムで予測する手法を提案する。
各映像フレームに独立して3D表現を条件付けすることで,映像をキャプチャー視点から忠実に再現する。
本手法は,既存の手法と比較して,視覚的品質と安定性の指標における最先端の精度を実現する。
論文 参考訳（メタデータ） (2025-07-28T20:07:55Z) - Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach [54.559847511280545]
三次元幾何学と動的認識を統合した新しい映像生成フレームワークを提案する。
これを実現するために、3Dポイントトラジェクトリで2Dビデオを拡大し、ピクセル空間に配置する。
結果の3D対応ビデオデータセットであるPointVidは、遅延拡散モデルを微調整するために使用される。
論文 参考訳（メタデータ） (2025-02-05T21:49:06Z) - VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [54.66217340264935]
VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。
再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
論文 参考訳（メタデータ） (2025-01-03T18:52:36Z) - VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping [43.30061680192465]
ビデオ・フェイス・スワップに特化して設計された初めての拡散型フレームワークを提案する。
提案手法は,VidFaceVAEと組み合わせた特殊設計拡散モデルである。
本フレームワークは,従来の手法と比較して,アイデンティティの保存,時間的整合性,視覚的品質において優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-12-15T18:58:32Z) - LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。
遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。
本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
論文 参考訳（メタデータ） (2024-12-12T18:58:42Z) - Coherent3D: Coherent 3D Portrait Video Reconstruction via Triplane Fusion [22.185551913099598]
シングルイメージの3Dポートレートの再構築により、テレプレゼンスシステムは1台のカメラからリアルタイムで3Dのポートレート映像をストリーミングできるようになった。
しかし、フレームごとの3D再構成は時間的不整合を示し、ユーザの外観を忘れる。
本稿では,フレーム単位の入力ビューから動的に出現する参照ビューから,標準3Dを融合することにより,両世界を最大限に活用する新しい融合方式を提案する。
論文 参考訳（メタデータ） (2024-12-11T18:57:24Z) - Efficient Video Face Enhancement with Enhanced Spatial-Temporal Consistency [36.939731355462264]
本研究では,新規で効率的なブラインド・ビデオ・フェース・エンハンスメント法を提案する。
圧縮された低品質バージョンから、効率的なデフリック機構で高品質の動画を復元する。
VFHQ-Testデータセットで行った実験は、我々の手法が現在の最先端のブラインド・フェイス・ビデオの復元と、効率と有効性の両面での解フリック法を超越していることを示している。
論文 参考訳（メタデータ） (2024-11-25T15:14:36Z) - Make-Your-Anchor: A Diffusion-based 2D Avatar Generation Framework [33.46782517803435]
Make-Your-Anchorは、トレーニングのために個人の1分間のビデオクリップだけを必要とするシステムである。
入力ビデオ上に構造誘導拡散モデルを用いて3次元メッシュ条件を人間の外見に表現する。
出力ビデオにおける顔領域の視覚的品質を改善するために、新しい識別特異的顔強調モジュールが導入された。
論文 参考訳（メタデータ） (2024-03-25T07:54:18Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。