論文の概要: TaoMate-FVSR:Audio-Guided Facial Video Restoration

• arxiv url: http://arxiv.org/abs/2611.03393v1
• Date: Mon, 02 Nov 2026 16:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:48:51.335499
• Title: TaoMate-FVSR:Audio-Guided Facial Video Restoration
• Title（参考訳）: TaoMate-FVSR:Audio-Guided Facial Video Restoration
• Abstract要約: 本稿では,参照誘導ビデオフローモデル内のあいまいさに対処する,オーディオ誘導型顔映像復元フレームワークを提案する。 トレーニングは、劣化した画像とビデオの復元と、劣化したソースをターゲットオーディオの下で補正する。 AIGCのネイティブな例は、シーンレベルの映像における唇の輪郭、歯科構造、周囲の顔のテクスチャの回復を示しています。
• 参考スコア（独自算出の注目度）: 16.50382403973747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-generated videos often depict people within detailed scenes while leaving their small facial regions poorly resolved. Visual super-resolution can sharpen these regions without resolving whether the recovered lips and teeth agree with the spoken audio. We present an audio-guided facial video restoration framework that addresses this ambiguity within a reference-guided video flow model. Source--noise mixing initializes reconstruction from a partially preserved observation, and structured reference injection separates appearance anchors from continuous motion context. Training combines restoration of degraded images and videos with correction of degraded dubbed sources under target audio. Appearance and synchronization supervision allow the model to recover facial detail and support visual dubbing when the audio is replaced. On talking-head restoration benchmarks, our method achieves the best paired perceptual similarity and synchronization scores among the compared restoration methods. Component comparisons examine audio conditioning, the reconstruction formulation, and reference injection. Native AIGC examples further illustrate the recovery of lip contours, dental structure, and surrounding facial texture in scene-level footage. injection. Native AIGC examples further illustrate the recovery of lip contours, dental structure, and surrounding facial texture in scene-level footage.
• Abstract（参考訳）: AIによって生成されたビデオは、小さな顔の領域を未解決のままにしながら、細かなシーンで人々を描写することが多い。 回復した唇と歯が音声と一致するかどうかを解決することなく、視覚超解像はこれらの領域を鋭くすることができる。 本稿では、基準誘導映像流モデルにおけるこのあいまいさに対処する、オーディオ誘導顔画像復元フレームワークを提案する。 ソースノイズ混合は、部分的に保存された観測から再構成を初期化し、構造化された参照インジェクションは、連続した動きコンテキストから出現アンカーを分離する。 トレーニングは、劣化した画像とビデオの復元と、劣化したソースをターゲットオーディオの下で補正する。 外観と同期の監視により、モデルは顔のディテールを回復し、オーディオが交換されたときに視覚的なダビングをサポートすることができる。 提案手法は, 対話型頭部修復ベンチマークにおいて, 比較した頭部修復法のうち, 最高の対の知覚的類似度と同期スコアを達成している。 コンポーネント比較では、オーディオコンディショニング、再構成定式化、参照インジェクションについて検討する。 ネイティブAIGCの例は、シーンレベルの映像における唇の輪郭、歯科構造、周囲の顔のテクスチャの回復をさらに説明している。 注射 ネイティブAIGCの例は、シーンレベルの映像における唇の輪郭、歯科構造、周囲の顔のテクスチャの回復をさらに説明している。

関連論文リスト

• VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing [52.350861416497516]
  ビデオダビングは、話者のアイデンティティ、頭ポーズ、ソースビデオの背景を保存しながら、ターゲットの音声にマッチする唇の動きを合成することを目的としている。 オルタナティブ・アウェア・クロスオーディオの監督について紹介する。 フルコンテクスト拡散エディタであるVidDubを2段階に分割した。
  論文  参考訳（メタデータ） (2026-11-02T16:33:09Z)
• PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
  共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-10-09T09:48:12Z)
• Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning [56.62425904247682]
  各種のストリーミングビデオ歪みに対処するGAVN(General Audio-assisted Face Video Restoration Network)を提案する。 GAVNはまず、低解像度空間におけるフレーム間の時間的特徴をキャプチャし、フレームを粗く復元し、計算コストを節約する。 最後に、再構成モジュールは時間的特徴とアイデンティティ機能を統合し、高品質な顔ビデオを生成する。
  論文  参考訳（メタデータ） (2025-08-06T07:38:27Z)
• Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
  トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。 まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。 実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-18T15:50:04Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• SyncTalkFace: Talking Face Generation with Precise Lip-Syncing via Audio-Lip Memory [27.255990661166614]
  音声から顔を生成することの課題は、口領域が入力された音声に対応するように、音声とビデオの2つの異なるモーダル情報を調整することである。 従来の手法では、オーディオ視覚表現学習を利用するか、ランドマークや3Dモデルのような中間構造情報を利用する。 本稿では,入力音声に対応する口領域の視覚情報を提供し,きめ細かな視覚的コヒーレンスを実現するオーディオ-リップメモリを提案する。
  論文  参考訳（メタデータ） (2022-11-02T07:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。