論文の概要: RADIO: Reference-Agnostic Dubbing Video Synthesis

• arxiv url: http://arxiv.org/abs/2309.01950v1
• Date: Tue, 5 Sep 2023 04:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 16:22:27.364812
• Title: RADIO: Reference-Agnostic Dubbing Video Synthesis
• Title（参考訳）: RADIO: 基準非依存のダビングビデオ合成
• Authors: Dongyeun Lee, Chaewon Kim, Sangjoon Yu, Jaejun Yoo, Gyeong-Moon Park
• Abstract要約: 単一の参照画像だけを考えると、意味のあるアイデンティティ属性を抽出することがさらに困難になる。 参照画像のポーズや表現に関わらず、高品質な「ビデオ」を提供するために設計されたフレームワークであるRADIOを紹介する。 実験の結果,RADIOは忠実度を損なうことなく高い同期性を示すことがわかった。
• 参考スコア（独自算出の注目度）: 12.872464331012544
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: One of the most challenging problems in audio-driven talking head generation is achieving high-fidelity detail while ensuring precise synchronization. Given only a single reference image, extracting meaningful identity attributes becomes even more challenging, often causing the network to mirror the facial and lip structures too closely. To address these issues, we introduce RADIO, a framework engineered to yield high-quality dubbed videos regardless of the pose or expression in reference images. The key is to modulate the decoder layers using latent space composed of audio and reference features. Additionally, we incorporate ViT blocks into the decoder to emphasize high-fidelity details, especially in the lip region. Our experimental results demonstrate that RADIO displays high synchronization without the loss of fidelity. Especially in harsh scenarios where the reference frame deviates significantly from the ground truth, our method outperforms state-of-the-art methods, highlighting its robustness. Pre-trained model and codes will be made public after the review.
• Abstract（参考訳）: 音声駆動音声ヘッド生成における最も難しい問題の一つは、正確な同期を確保しながら高精度なディテールを達成することである。 単一の参照画像だけを考えると、意味のあるアイデンティティ属性を抽出することがさらに難しくなり、しばしばネットワークが顔と唇の構造を近づきすぎてしまう。 これらの問題に対処するために、参照画像のポーズや表現に関係なく高品質な「ビデオ」を提供するためのフレームワークRADIOを導入する。 鍵となるのは、オーディオと参照機能からなる潜在空間を使用してデコーダ層を変調することだ。 さらに、特に唇領域において、高忠実度の詳細を強調するために、ViTブロックをデコーダに組み込む。 実験の結果,RADIOは忠実度を損なうことなく高い同期性を示すことがわかった。 特に,基準フレームが基礎的真理から著しく逸脱する過酷なシナリオでは,本手法は最先端手法よりも優れており,その頑健性が強調される。 事前訓練されたモデルとコードはレビュー後に公開される。

関連論文リスト

• MuseTalk: Real-Time High Quality Lip Synchronization with Latent Space Inpainting [12.852715177163608]
  MuseTalkは、変分オートエンコーダによって符号化された潜時空間でリップシンクターゲットを生成する。 オンラインのフェース生成をサポートする。256x256で30 FPS以上で、起動遅延は無視できる。
  論文  参考訳（メタデータ） (2024-10-14T03:22:26Z)
• LaDTalk: Latent Denoising for Synthesizing Talking Head Videos with High Frequency Details [14.22392871407274]
  本稿では,写真リアリスティックな音声ヘッドビデオの合成に有効なポストプロセッシング手法を提案する。 具体的には,基礎モデルとして事前訓練されたWav2Lipモデルを使用し,その堅牢なオーディオ-リップアライメント機能を活用している。 以上の結果から,本手法は,最先端の映像品質とドメイン外リップ同期性能を実現することが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T18:32:02Z)
• SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space [13.59798532129008]
  我々は,同じ潜在空間における顔交換と唇同期の両タスクを実現する,革新的な統一フレームワークSwapTalkを提案する。 生成した顔ビデオの時系列上でのアイデンティティ一貫性をより包括的に評価するための新しいアイデンティティ一貫性指標を提案する。 HDTF実験の結果,ビデオ品質,リップ同期精度,顔スワップの忠実度,アイデンティティの整合性など,既存の手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-09T09:22:09Z)
• DiffDub: Person-generic Visual Dubbing Using Inpainting Renderer with Diffusion Auto-encoder [21.405442790474268]
  DiffDub: Diffusion-based dubbingを提案する。 まず、編集可能なゾーンと未修正領域をデライン化するためのマスクを組み込んだ塗装により、Diffusion Auto-Encoderを製作する。 これらの課題に対処するため、我々はデータ強化や補充的アイガイダンスを含む多目的戦略を採用した。
  論文  参考訳（メタデータ） (2023-11-03T09:41:51Z)
• ReliTalk: Relightable Talking Portrait Generation from a Single Video [62.47116237654984]
  ReliTalkは、モノクロビデオから再生可能なオーディオ駆動型音声ポートレート生成のための新しいフレームワークである。 我々の重要な洞察は、ポートレートの反射を暗黙的に学習された音声駆動の顔の正常と画像から分解することである。
  論文  参考訳（メタデータ） (2023-09-05T17:59:42Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis [62.297513028116576]
  GeneFace は、汎用的で高忠実な NeRF ベースの話し顔生成法である。 ヘッド・トルソ問題を解消するために,ヘッド・アウェア・トルソ・NeRFを提案する。
  論文  参考訳（メタデータ） (2023-01-31T05:56:06Z)
• DiffTalk: Crafting Diffusion Models for Generalized Audio-Driven Portraits Animation [78.08004432704826]
  我々は、音声による時間的コヒーレントな認知過程(DiffTalk)としてのトーキングヘッド生成をモデル化する。 本稿では,話し顔の制御機構について検討し,人格認識型一般化合成の条件として,参照顔画像とランドマークを取り入れた。 我々のDiffTalkは、無視できる余分な計算コストで高分解能な合成に適しています。
  論文  参考訳（メタデータ） (2023-01-10T05:11:25Z)
• SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
  本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。 私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
  論文  参考訳（メタデータ） (2022-05-04T13:34:07Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。