論文の概要: TaoMate-FVSR: Audio-Guided Facial Video Restoration
- arxiv url: http://arxiv.org/abs/2611.03393v2
- Date: Tue, 03 Nov 2026 12:58:07 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:50:23.450305
- Title: TaoMate-FVSR: Audio-Guided Facial Video Restoration
- Title（参考訳）: TaoMate-FVSR:オーディオガイドによる顔面ビデオ再生
- Abstract要約: 本稿では,信頼できない口の細部を再構築し,唇の動きを音声と一致させる音声誘導型顔映像復元フレームワークを提案する。
まず、劣化した画像やビデオから視覚的復元を学習し、その後、劣化したビデオからオーディオ誘導による唇修正を学習する。
- 参考スコア（独自算出の注目度）: 16.662156456262558
- License:
- Abstract: Low-quality facial videos suffer from missing fine details, while AI-generated videos may additionally contain implausible teeth and lip movements that do not match the speech. Restoring the mouth region is particularly challenging: enhancing existing details can preserve structural errors, whereas regenerating them risks changing facial identity and articulation. We propose an audio-guided facial video restoration framework that reconstructs unreliable mouth details and aligns lip movements with the speech while preserving facial identity and temporal consistency. Built on a video diffusion transformer, our framework mixes input video latents with noise to retain useful source information while allowing corrupted details to be regenerated. Audio guides lip movements, reference images constrain facial appearance, and previously generated frames promote temporal consistency. We train the model in two stages, first learning visual restoration from degraded images and videos, then learning audio-guided lip correction from degraded dubbed videos. The resulting model supports both restoration with the original audio and visual dubbing with replacement audio. On talking-head restoration benchmarks, our method achieves the lowest LPIPS and DISTS and the best lip synchronization scores among the evaluated restoration baselines. Qualitative results on AI-generated videos further show improvements in facial detail and mouth-region appearance, including clearer tooth boundaries and lip contours.
- Abstract（参考訳）: 低画質の顔ビデオは細かい細部を欠いているが、AIが生成するビデオには、音声に合わない不明瞭な歯や唇の動きが含まれている。
口の領域の復元は特に困難であり、既存の詳細性の向上は構造的誤りを保存できる一方で、顔の同一性や調音の変化を危険にさらしている。
本稿では,信頼できない口の細部を再構築し,顔のアイデンティティと時間的一貫性を保ちながら,唇の動きを音声と一致させる音声誘導型顔映像復元フレームワークを提案する。
我々のフレームワークは,映像拡散変換器上に構築され,入力された映像の潜伏音とノイズを混合して有用な情報源情報を保持し,劣化した詳細を再生する。
オーディオガイドは唇の動き、参照画像は顔の外観を制約し、以前に生成されたフレームは時間的一貫性を促進する。
まず、劣化した画像やビデオから視覚的復元を学習し、その後、劣化したビデオからオーディオ誘導による唇修正を学習する。
結果として得られたモデルは、元のオーディオによる復元と、代替オーディオによる視覚的ダビングの両方をサポートする。
本手法は,音声頭蓋修復ベンチマークにおいて,LPIPSとdisTSの最低値と,評価された修復基準値の中で最高の唇同期スコアを達成している。
AI生成ビデオの質的な結果は、より鮮明な歯の境界や唇の輪郭など、顔のディテールと口辺の外観の改善をさらに示している。
関連論文リスト
- VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing [52.350861416497516]
ビデオダビングは、話者のアイデンティティ、頭ポーズ、ソースビデオの背景を保存しながら、ターゲットの音声にマッチする唇の動きを合成することを目的としている。
オルタナティブ・アウェア・クロスオーディオの監督について紹介する。
フルコンテクスト拡散エディタであるVidDubを2段階に分割した。
論文 参考訳（メタデータ） (2026-11-02T16:33:09Z) - PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。
PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。
大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
論文 参考訳（メタデータ） (2026-10-09T09:48:12Z) - Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning [56.62425904247682]
各種のストリーミングビデオ歪みに対処するGAVN(General Audio-assisted Face Video Restoration Network)を提案する。
GAVNはまず、低解像度空間におけるフレーム間の時間的特徴をキャプチャし、フレームを粗く復元し、計算コストを節約する。
最後に、再構成モジュールは時間的特徴とアイデンティティ機能を統合し、高品質な顔ビデオを生成する。
論文 参考訳（メタデータ） (2025-08-06T07:38:27Z) - Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。
まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。
実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-18T15:50:04Z) - Identity-Preserving Talking Face Generation with Landmark and Appearance
Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。
本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。
提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文 参考訳（メタデータ） (2023-05-15T01:31:32Z) - SyncTalkFace: Talking Face Generation with Precise Lip-Syncing via
Audio-Lip Memory [27.255990661166614]
音声から顔を生成することの課題は、口領域が入力された音声に対応するように、音声とビデオの2つの異なるモーダル情報を調整することである。
従来の手法では、オーディオ視覚表現学習を利用するか、ランドマークや3Dモデルのような中間構造情報を利用する。
本稿では,入力音声に対応する口領域の視覚情報を提供し,きめ細かな視覚的コヒーレンスを実現するオーディオ-リップメモリを提案する。
論文 参考訳（メタデータ） (2022-11-02T07:17:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。