論文の概要: Audio-driven High-resolution Seamless Talking Head Video Editing via StyleGAN

• arxiv url: http://arxiv.org/abs/2407.05577v1
• Date: Mon, 8 Jul 2024 03:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 17:10:02.894062
• Title: Audio-driven High-resolution Seamless Talking Head Video Editing via StyleGAN
• Title（参考訳）: StyleGANによる高分解能シームレストーキングヘッドビデオ編集
• Authors: Jiacheng Su, Kunhong Liu, Liyan Chen, Junfeng Yao, Qingsong Liu, Dongdong Lv,
• Abstract要約: 本稿では,2つのモジュールをベースとした感情の相違により,対話型顔画像のシームレスな編集を行うことにより,この問題に対処する。 音声から対応する感情的ランドマークを予測することで、音声と顔の動きのギャップを埋める。 入力オーディオから感情とコンテンツコンポーネントからなるシームレスな編集ビデオを生成することを目的としている。
• 参考スコア（独自算出の注目度）: 11.504952707087696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The existing methods for audio-driven talking head video editing have the limitations of poor visual effects. This paper tries to tackle this problem through editing talking face images seamless with different emotions based on two modules: (1) an audio-to-landmark module, consisting of the CrossReconstructed Emotion Disentanglement and an alignment network module. It bridges the gap between speech and facial motions by predicting corresponding emotional landmarks from speech; (2) a landmark-based editing module edits face videos via StyleGAN. It aims to generate the seamless edited video consisting of the emotion and content components from the input audio. Extensive experiments confirm that compared with state-of-the-arts methods, our method provides high-resolution videos with high visual quality.
• Abstract（参考訳）: 既存の音声駆動音声ヘッドビデオ編集法は、視覚効果の低下に限界がある。 本論文は,(1)クロスコンストラクテッド・エモーション・ディスタングルメントとアライメント・ネットワーク・モジュールからなる音声・ランドマーク・モジュールである。 音声から対応する感情的ランドマークを予測することにより、音声と顔の動きのギャップを埋める; (2)StyleGANを介して顔ビデオの編集を行うランドマークベースの編集モジュール。 入力オーディオから感情とコンテンツコンポーネントからなるシームレスな編集ビデオを生成することを目的としている。 広汎な実験により,最先端の手法と比較して,高画質映像を高画質で提供できることが確認された。

関連論文リスト

• Language-Guided Joint Audio-Visual Editing via One-Shot Adaptation [56.92841782969847]
  言語誘導型共同視覚編集という新しいタスクを導入する。 この課題は、音声と映像のペアが与えられたとき、言語指導に基づいて与えられた音質イベントを編集することにより、新たな音声・視覚コンテンツを生成することである。 共同音声・視覚編集のための拡散型フレームワークを提案し,2つの重要なアイデアを紹介した。
  論文  参考訳（メタデータ） (2024-10-09T22:02:30Z)
• Speech Editing -- a Summary [8.713498822221222]
  本稿では,手動による波形編集を必要とせず,テキストの書き起こしによって音声を編集するテキストベースの音声編集手法について検討する。 目的は、進行中の問題を強調し、音声編集におけるさらなる研究と革新を刺激することである。
  論文  参考訳（メタデータ） (2024-07-24T11:22:57Z)
• Text-based Talking Video Editing with Cascaded Conditional Diffusion [31.194060914767896]
  テキストベースのトーキングヘッドビデオ編集は、音声ビデオのセグメントを効率的に挿入、削除、置換することを目的としている。 これまでの作業では、会話ビデオのトレーニングデータの数分と、カスタマイズされた会話ビデオ編集のための高価なテストタイムの最適化が必要だった。 本稿では,音声から高密度ランドマーク運動,動画への動きの2段階からなる,効率的なケースケード条件拡散に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T10:55:19Z)
• I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
  本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。 I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
  論文  参考訳（メタデータ） (2024-05-26T11:47:40Z)
• FLATTEN: optical FLow-guided ATTENtion for consistent text-to-video editing [65.60744699017202]
  拡散モデルのU-Netにおける注目モジュールに光フローを導入し,テキスト対ビデオ編集の不整合問題に対処する。 提案手法であるFLATTENでは,異なるフレームにまたがる同一フローパス上のパッチを適用して,アテンションモジュール内の相互にアテンションする。 既存のテキスト・ビデオ編集ベンチマークの結果から,提案手法が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-09T17:59:53Z)
• Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models [65.268245109828]
  Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。 トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。 実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-02T11:28:37Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)
• Learning to Dub Movies via Hierarchical Prosody Models [167.6465354313349]
  テキスト、ビデオクリップ、レファレンスオーディオが与えられたとき、映画ダビング(Visual Voice clone V2C)タスクは、所望の話者音声を参照としてビデオに提示された話者の感情にマッチした音声を生成することを目的としている。 本稿では,これらの問題に階層的韻律モデルを用いて対処する新しい映画ダビングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-08T03:29:04Z)
• Continuously Controllable Facial Expression Editing in Talking Face Videos [34.83353695337335]
  言語関連表現と感情関連表現はしばしば高結合である。 従来の画像から画像への変換手法は、我々のアプリケーションではうまく機能しない。 そこで本研究では,音声合成のための高品質な表情編集手法を提案する。
  論文  参考訳（メタデータ） (2022-09-17T09:05:47Z)
• StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via Pretrained StyleGAN [49.917296433657484]
  ワンショット・トーキング・フェイス・ジェネレーションは、任意のポートレート画像から高品質なトーキング・フェイス・ビデオを合成することを目的としている。 本研究では,事前学習したStyleGANの潜在特徴空間について検討し,優れた空間変換特性について考察する。 本稿では,事前学習したStyleGANをベースとした,強力な機能セットを実現する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-08T12:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。