Fugu-MT 論文翻訳(概要): Facial Expression Video Generation Based-On Spatio-temporal Convolutional GAN: FEV-GAN

論文の概要: Facial Expression Video Generation Based-On Spatio-temporal Convolutional GAN: FEV-GAN

arxiv url: http://arxiv.org/abs/2210.11182v1
Date: Thu, 20 Oct 2022 11:54:32 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 15:08:33.675549
Title: Facial Expression Video Generation Based-On Spatio-temporal Convolutional GAN: FEV-GAN
Title（参考訳）: FEV-GANによる顔表情映像生成
Authors: Hamza Bouzid, Lahoucine Ballihi
Abstract要約: 6つの基本表情の映像を生成するための新しいアプローチを提案する。提案手法は,同一ネットワークにおけるコンテンツと動作の両方をモデル化することが知られている時空間的コナールGANをベースとしている。コードと事前訓練されたモデルは間もなく公開される予定だ。
参考スコア（独自算出の注目度）: 1.279257604152629
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Facial expression generation has always been an intriguing task for scientists and researchers all over the globe. In this context, we present our novel approach for generating videos of the six basic facial expressions. Starting from a single neutral facial image and a label indicating the desired facial expression, we aim to synthesize a video of the given identity performing the specified facial expression. Our approach, referred to as FEV-GAN (Facial Expression Video GAN), is based on Spatio-temporal Convolutional GANs, that are known to model both content and motion in the same network. Previous methods based on such a network have shown a good ability to generate coherent videos with smooth temporal evolution. However, they still suffer from low image quality and low identity preservation capability. In this work, we address this problem by using a generator composed of two image encoders. The first one is pre-trained for facial identity feature extraction and the second for spatial feature extraction. We have qualitatively and quantitatively evaluated our model on two international facial expression benchmark databases: MUG and Oulu-CASIA NIR&VIS. The experimental results analysis demonstrates the effectiveness of our approach in generating videos of the six basic facial expressions while preserving the input identity. The analysis also proves that the use of both identity and spatial features enhances the decoder ability to better preserve the identity and generate high-quality videos. The code and the pre-trained model will soon be made publicly available.
Abstract（参考訳）: 表情の生成は、常に世界中の科学者や研究者にとって興味深い課題だった。そこで本研究では,6種類の表情の映像を生成する新しい手法を提案する。一つの中性顔画像と、所望の表情を示すラベルから始め、特定の表情を行う所定のアイデンティティの映像を合成することを目的としている。我々のアプローチはFEV-GAN(Facial Expression Video GAN)と呼ばれ、同一ネットワーク内のコンテンツと動きの両方をモデル化することが知られている時空間的畳み込みGANに基づいている。このようなネットワークに基づく従来の手法では,スムースな時間変化を伴うコヒーレントなビデオを生成することができる。しかし、画像品質の低下とアイデンティティの保存能力の低下に悩まされている。本研究では、2つの画像エンコーダからなるジェネレータを用いてこの問題に対処する。 1つは顔の特徴抽出、もう1つは空間特徴抽出のための事前学習である。我々は、MUGとOulu-CASIA NIR&VISという2つの国際顔表情ベンチマークデータベース上で、定性的かつ定量的にモデルを評価した。実験結果分析により,入力アイデンティティを維持しつつ6種類の基本表情の映像を生成する手法の有効性が示された。この分析は、アイデンティティと空間的機能の両方を使用することで、アイデンティティを保存し高品質なビデオを生成するデコーダ能力を高めることも証明している。コードと事前訓練されたモデルは間もなく公開される予定だ。

関連論文リスト

OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文参考訳（メタデータ） (2024-11-26T07:07:48Z)
G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
論文参考訳（メタデータ） (2024-08-23T13:13:24Z)
G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。本稿では,Gtextsuperscript2Faceを提案する。提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
論文参考訳（メタデータ） (2024-08-18T12:36:47Z)
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文参考訳（メタデータ） (2023-05-15T01:31:32Z)
StyleFaceV: Face Video Generation via Decomposing and Recomposing Pretrained StyleGAN3 [43.43545400625567]
そこで我々は,鮮明な動きを持つ高忠実度ID保存顔ビデオを生成するStyleFaceVというフレームワークを提案する。我々の中核となる洞察は、外観を分解し、情報を合成し、それらをStyleGAN3の潜在空間に再分解することで、安定的でダイナミックな結果を生み出すことである。
論文参考訳（メタデータ） (2022-08-16T17:47:03Z)
Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文参考訳（メタデータ） (2021-05-31T02:30:11Z)
Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文参考訳（メタデータ） (2020-11-18T13:42:05Z)
Video-based Facial Expression Recognition using Graph Convolutional Networks [57.980827038988735]
我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
論文参考訳（メタデータ） (2020-10-26T07:31:51Z)
Synthetic Expressions are Better Than Real for Learning to Detect Facial Actions [4.4532095214807965]
提案手法は,各映像フレームから顔の3次元形状を再構成し,その3次元メッシュを標準視に整列し,GANネットワークをトレーニングして,顔のアクションユニットによる新規画像の合成を行う。このネットワークは、合成された表情を訓練し、実際の表情を訓練し、現在の最先端のアプローチを上回った。
論文参考訳（メタデータ） (2020-10-21T13:11:45Z)
Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文参考訳（メタデータ） (2020-06-17T23:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。