論文の概要: Neural Emotion Director: Speech-preserving semantic control of facial expressions in "in-the-wild" videos

• arxiv url: http://arxiv.org/abs/2112.00585v1
• Date: Wed, 1 Dec 2021 15:55:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 15:53:57.771765
• Title: Neural Emotion Director: Speech-preserving semantic control of facial expressions in "in-the-wild" videos
• Title（参考訳）: neural emotion director: "in-the-wild"ビデオにおける表情の音声保存意味制御
• Authors: Foivos Paraperas Papantoniou, Panagiotis P. Filntisis, Petros Maragos, Anastasios Roussos
• Abstract要約: In-the-wild」ビデオにおいて,アクターの感情状態をリアルに操作するための新しい深層学習手法を提案する。 提案手法は,頭部のポーズや表情から顔のアイデンティティを確実に切り離すことのできる,入力シーンにおけるアクターのパラメトリックな3次元顔表現に基づく。 次に、新しいディープドメイン翻訳フレームワークを使用し、顔の表情を一貫した、そして妥当な方法で変更し、そのダイナミクスを考慮に入れます。
• 参考スコア（独自算出の注目度）: 31.746152261362777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a novel deep learning method for photo-realistic manipulation of the emotional state of actors in "in-the-wild" videos. The proposed method is based on a parametric 3D face representation of the actor in the input scene that offers a reliable disentanglement of the facial identity from the head pose and facial expressions. It then uses a novel deep domain translation framework that alters the facial expressions in a consistent and plausible manner, taking into account their dynamics. Finally, the altered facial expressions are used to photo-realistically manipulate the facial region in the input scene based on an especially-designed neural face renderer. To the best of our knowledge, our method is the first to be capable of controlling the actor's facial expressions by even using as a sole input the semantic labels of the manipulated emotions, while at the same time preserving the speech-related lip movements. We conduct extensive qualitative and quantitative evaluations and comparisons, which demonstrate the effectiveness of our approach and the especially promising results that we obtain. Our method opens a plethora of new possibilities for useful applications of neural rendering technologies, ranging from movie post-production and video games to photo-realistic affective avatars.
• Abstract（参考訳）: 本稿では,映画「イン・ザ・ワイルド」ビデオにおいて,俳優の感情状態のフォトリアリスティックな操作を行うための深層学習手法を提案する。 提案手法は,頭部のポーズや表情から顔のアイデンティティを確実に切り離すことのできる,入力シーンにおけるアクターのパラメトリックな3次元顔表現に基づく。 次に、新しいディープドメイン翻訳フレームワークを使用し、顔の表情を一貫した、そして妥当な方法で変更し、そのダイナミクスを考慮に入れます。 最後に、変化した表情を用いて、特に設計されたニューラルフェイスレンダラーに基づいて、入力シーンの顔領域をフォトリアリスティックに操作する。 本手法は, 操作された感情の意味的ラベルを単独で入力するだけでなく, 発話に関連した唇運動を保ちながら, 俳優の表情を制御できる最初の手法である。 我々は、我々のアプローチの有効性と得られた特に有望な結果を示す、広範囲な質的、定量的な評価と比較を行う。 本手法は,映画ポストプロダクションやビデオゲーム,フォトリアリスティックな情緒的アバターなど,ニューラルレンダリング技術の有用な応用への新たな可能性を開く。

関連論文リスト

• Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations [61.65012981435094]
  DIRFAは、異なるが現実的な顔のアニメーションを同一の駆動音声から生成できる新しい方法である。 同一音声に対して妥当な顔のアニメーションの変動に対応するため,トランスフォーマーに基づく確率的マッピングネットワークを設計する。 DIRFAは現実的な顔のアニメーションを効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-04-18T12:36:15Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)
• PERI: Part Aware Emotion Recognition In The Wild [4.206175795966693]
  本稿では視覚的特徴を用いた感情認識に焦点を当てる。 身体のポーズと顔のランドマークの両方から生成されたマスクを用いて、入力画像からキー領域を抽出し、部分認識空間(PAS)画像を作成する。 野生のEMOTICデータセットで公開されている結果について報告する。
  論文  参考訳（メタデータ） (2022-10-18T20:01:40Z)
• Continuously Controllable Facial Expression Editing in Talking Face Videos [34.83353695337335]
  言語関連表現と感情関連表現はしばしば高結合である。 従来の画像から画像への変換手法は、我々のアプリケーションではうまく機能しない。 そこで本研究では,音声合成のための高品質な表情編集手法を提案する。
  論文  参考訳（メタデータ） (2022-09-17T09:05:47Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.67586172996843]
  静的な顔画像から外乱非依存の感情を分離し認識するための新しいFERモデルであるポーカー・フェイス・ビジョン・トランスフォーマー(PF-ViT)を提案する。 PF-ViTは、ペア画像なしで対応するポーカーフェイスを生成する。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Watch Those Words: Video Falsification Detection Using Word-Conditioned Facial Motion [82.06128362686445]
  本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。 帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。 既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
  論文  参考訳（メタデータ） (2021-12-21T01:57:04Z)
• Deep Semantic Manipulation of Facial Videos [5.048861360606916]
  本稿では,ビデオにおける表情の写実的操作を行うための最初の方法を提案する。 本手法は,ニューラルレンダリングと3次元表情モデリングに基づくセマンティックビデオ操作を支援する。 提案手法は,3次元顔の形状と活動の歪んだ表現と推定に基づく。
  論文  参考訳（メタデータ） (2021-11-15T16:55:16Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)
• MakeItTalk: Speaker-Aware Talking-Head Animation [49.77977246535329]
  本稿では,音声を入力として1つの顔画像から表現力のある音声音声を生成する手法を提案する。 この中間表現に基づいて,本手法は全音声頭部の映像を全動作域で合成することができる。
  論文  参考訳（メタデータ） (2020-04-27T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。