論文の概要: MakeItTalk: Speaker-Aware Talking-Head Animation

• arxiv url: http://arxiv.org/abs/2004.12992v3
• Date: Thu, 25 Feb 2021 17:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 05:58:26.076039
• Title: MakeItTalk: Speaker-Aware Talking-Head Animation
• Title（参考訳）: MakeItTalk: 講演者対応のトーキングヘッドアニメーション
• Authors: Yang Zhou, Xintong Han, Eli Shechtman, Jose Echevarria, Evangelos Kalogerakis, Dingzeyu Li
• Abstract要約: 本稿では,音声を入力として1つの顔画像から表現力のある音声音声を生成する手法を提案する。 この中間表現に基づいて,本手法は全音声頭部の映像を全動作域で合成することができる。
• 参考スコア（独自算出の注目度）: 49.77977246535329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method that generates expressive talking heads from a single facial image with audio as the only input. In contrast to previous approaches that attempt to learn direct mappings from audio to raw pixels or points for creating talking faces, our method first disentangles the content and speaker information in the input audio signal. The audio content robustly controls the motion of lips and nearby facial regions, while the speaker information determines the specifics of facial expressions and the rest of the talking head dynamics. Another key component of our method is the prediction of facial landmarks reflecting speaker-aware dynamics. Based on this intermediate representation, our method is able to synthesize photorealistic videos of entire talking heads with full range of motion and also animate artistic paintings, sketches, 2D cartoon characters, Japanese mangas, stylized caricatures in a single unified framework. We present extensive quantitative and qualitative evaluation of our method, in addition to user studies, demonstrating generated talking heads of significantly higher quality compared to prior state-of-the-art.
• Abstract（参考訳）: 本稿では,音声を唯一の入力として,単一の顔画像から表現力のある発話頭部を生成する手法を提案する。 音声から生のピクセルへ直接マッピングを学習しようとする従来のアプローチとは対照的に,本手法ではまず,入力された音声信号に含まれる内容と話者情報をアンハングリングする。 音声コンテンツは唇や周囲の顔領域の動きをロバストに制御し、話者情報は表情の仕様と他の話し手の頭の動きを決定する。 この方法のもう一つの重要な要素は、話者認識のダイナミクスを反映した顔のランドマークの予測である。 この中間表現に基づき,全発話頭部のフォトリアリスティックな映像を全動で合成するとともに,芸術的絵画,スケッチ,2dアニメキャラクタ,日本のマンガ,スタイリゼーションを統一した一つの枠組みで合成することができる。 そこで本研究では,本手法の定量的・質的評価に加えて,先行研究に比べて高い品質の発話ヘッドを提示する。

関連論文リスト

• JEAN: Joint Expression and Audio-guided NeRF-based Talking Face Generation [24.2065254076207]
  共同表現と音声誘導による発話顔生成のための新しい手法を提案する。 提案手法は,高忠実度音声映像を合成し,最先端の表情伝達を実現する。
  論文  参考訳（メタデータ） (2024-09-18T17:18:13Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)
• One-shot Talking Face Generation from Single-speaker Audio-Visual Correlation Learning [20.51814865676907]
  特定の話者から一貫した音声スタイルを学ぶ方がずっと簡単で、それが本物の口の動きにつながる。 本研究では,特定の話者からの音声と視覚の動きの一致した相関関係を探索し,一対一の会話顔生成フレームワークを提案する。 学習した一貫した話し方のおかげで,本手法は真正な口の形状と鮮明な動きを生成する。
  論文  参考訳（メタデータ） (2021-12-06T02:53:51Z)
• Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation [12.552355581481999]
  まず,30fps以上の音声信号のみを駆動する,パーソナライズされた写真リアリスティックなトーキングヘッドアニメーションを生成するライブシステムを提案する。 第1段階はディープニューラルネットワークで、ターゲットの音声空間に特徴を投影する多様体投影と共に、ディープオーディオ特徴を抽出する。 第2段階では、投影された音声特徴から顔の動きと動きを学習する。 最終段階では、過去の予測から条件付き特徴写像を生成し、画像から画像への変換ネットワークに設定した候補画像で送信し、フォトリアリスティックレンダリングを合成する。
  論文  参考訳（メタデータ） (2021-09-22T08:47:43Z)
• Audio2Head: Audio-driven One-shot Talking-head Generation with Natural Head Motion [34.406907667904996]
  単一の参照画像から写真リアルなトーキングヘッド映像を生成するための音声駆動型トーキングヘッド手法を提案する。 動き認識型リカレントニューラルネットワーク(RNN)を用いた剛性6次元頭部運動のモデル化により,まず頭部ポーズ予測器を設計する。 そこで我々は,入力音声,頭部ポーズ,参照画像から高密度な運動場を生成する運動場生成装置を開発した。
  論文  参考訳（メタデータ） (2021-07-20T07:22:42Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation [28.157431757281692]
  本研究では,高忠実度表情と頭部動作を合成するテキストベーストーキングヘッドビデオ生成フレームワークを提案する。 本フレームワークは,話者に依存しないステージと話者固有のステージから構成される。 本アルゴリズムは,様々な表情や頭部の動きを含む高品質なフォトリアリスティックなトーキングヘッドビデオを実現する。
  論文  参考訳（メタデータ） (2021-04-16T09:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。