論文の概要: Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs

• arxiv url: http://arxiv.org/abs/2402.09100v1
• Date: Wed, 14 Feb 2024 11:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 15:57:19.442048
• Title: Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs
• Title（参考訳）: GANに基づく実写ランドマーク誘導顔画像の描き方
• Authors: Fatemeh Ghorbani Lohesara, Karen Egiazarian, Sebastian Knorr
• Abstract要約: そこで本研究では,表現型ビデオインパインティングのためのネットワークを提案する。 GAN(Generative Adversarial Network)を使用して、すべてのフレームにまたがる静的および移動オクルージョンを処理する。 我々はさらに、カスタマイズされた表情認識(FER)損失関数により感情の保存を強化し、詳細なインペイント出力を確保する。
• 参考スコア（独自算出の注目度）: 0.27624021966289597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial video inpainting plays a crucial role in a wide range of applications, including but not limited to the removal of obstructions in video conferencing and telemedicine, enhancement of facial expression analysis, privacy protection, integration of graphical overlays, and virtual makeup. This domain presents serious challenges due to the intricate nature of facial features and the inherent human familiarity with faces, heightening the need for accurate and persuasive completions. In addressing challenges specifically related to occlusion removal in this context, our focus is on the progressive task of generating complete images from facial data covered by masks, ensuring both spatial and temporal coherence. Our study introduces a network designed for expression-based video inpainting, employing generative adversarial networks (GANs) to handle static and moving occlusions across all frames. By utilizing facial landmarks and an occlusion-free reference image, our model maintains the user's identity consistently across frames. We further enhance emotional preservation through a customized facial expression recognition (FER) loss function, ensuring detailed inpainted outputs. Our proposed framework exhibits proficiency in eliminating occlusions from facial videos in an adaptive form, whether appearing static or dynamic on the frames, while providing realistic and coherent results.
• Abstract（参考訳）: ビデオ会議や遠隔医療における障害の除去、表情分析の強化、プライバシー保護、グラフィカルオーバーレイの統合、仮想メイクアップなど、幅広いアプリケーションにおいて、顔ビデオのインペインティングは重要な役割を果たす。 この領域は、顔の特徴の複雑な性質と、顔に固有の人間の親しみ、正確で説得力のある完成の必要性を高めるために深刻な課題を呈する。 この文脈で、特に咬合除去に関連する課題に取り組む際、マスクでカバーされた顔データから完全な画像を生成し、空間的・時間的コヒーレンスを確保するという進歩的課題に焦点をあてる。 本研究は,全フレームにわたって静的および移動した咬合を処理できるgan(generative adversarial network)を用いた表現ベースの映像インペインティングのためのネットワークを提案する。 顔ランドマークとオクルージョンフリーの参照画像を利用することで,フレーム間におけるユーザのアイデンティティを一貫して維持する。 我々はさらに、カスタマイズされた表情認識(FER)損失関数により感情保存を強化し、詳細なインペイント出力を確保する。 提案フレームワークは,フレームに静的か動的かにかかわらず,顔映像からの閉塞を適応形式で排除し,現実的かつ一貫性のある結果を提供する。

関連論文リスト

• ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification [60.73617868629575]
  深層学習に基づく顔操作の誤用は、公民権に対する潜在的な脅威となる。 この不正行為を防ぐため、プロアクティブな防御技術が提案され、操作プロセスを妨害した。 我々は,ID-Guardと呼ばれる,顔操作と戦うための新しい普遍的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-20T09:30:08Z)
• Expression-aware video inpainting for HMD removal in XR applications [0.27624021966289597]
  ヘッドマウントディスプレイ(HMD)は、拡張現実(XR)環境と仮想コンテンツを観察するために必要なデバイスとして機能する。 HMDは、ユーザの上面をブロックする外部記録技術に障害を与える。 GAN(Generative Adversarial Network)に基づくHMD除去のための表現認識型ビデオインペインティングのための新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T12:32:21Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
  AnonyGANは、顔の匿名化のためのGANベースのソリューションである。 ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
  論文  参考訳（メタデータ） (2021-12-10T12:58:17Z)
• UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing [78.26925404508994]
  我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。 本フレームワークは,顔交換と顔再現を同時に行うように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2021-08-12T10:35:22Z)
• A Latent Transformer for Disentangled and Identity-Preserving Face Editing [3.1542695050861544]
  本稿では,StyleGANジェネレータの潜時空間を介して顔属性を編集することを提案する。 我々は、専用潜伏変換ネットワークを訓練し、損失関数に明示的な絡み合いとアイデンティティ保存項を組み込む。 本モデルは,現実的な(非合成的な)画像やビデオの難易度においても,不整合で制御可能で,顔属性の編集が可能なモデルである。
  論文  参考訳（メタデータ） (2021-06-22T16:04:30Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• Foreground-guided Facial Inpainting with Fidelity Preservation [7.5089719291325325]
  本稿では,畳み込みニューラルネットワーク層を用いて顔特徴を抽出・生成できるフォアグラウンド誘導型顔塗工フレームワークを提案する。 具体的には,表情の意味的能力推論,自然・不自然な特徴(メイクアップ)を用いた新しい損失関数を提案する。 提案手法は, 顔成分の高忠実度保存を, 質的に比較すると, 比較して定量的な結果を得た。
  論文  参考訳（メタデータ） (2021-05-07T15:50:58Z)
• Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition [56.11054589916299]
  本研究では,隠蔽領域から腐敗した特徴を発見・破棄するためのランドマーク誘導型アテンションブランチを提案する。 注意マップが最初に作成され、特定の顔部が閉鎖されているかどうかを示し、我々のモデルを非閉鎖領域に誘導する。 これにより、顔が部分的に隠されている場合でも、表情認識システムが回復することができる。
  論文  参考訳（メタデータ） (2020-05-12T20:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。