論文の概要: POCE: Pose-Controllable Expression Editing

• arxiv url: http://arxiv.org/abs/2304.08938v1
• Date: Tue, 18 Apr 2023 12:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 14:49:16.096600
• Title: POCE: Pose-Controllable Expression Editing
• Title（参考訳）: poce: ポーズ制御可能な表情編集
• Authors: Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Shengcai Liao, Shijian Lu
• Abstract要約: 本稿では,新しいポーズ制御可能な表現編集ネットワークであるPOCEについて述べる。 リアルな表情と頭ポーズを同時に生成できる。 学習したモデルは、様々な新しいポーズの下で、現実的で高忠実な表情を生成することができる。
• 参考スコア（独自算出の注目度）: 75.7701103792032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial expression editing has attracted increasing attention with the advance of deep neural networks in recent years. However, most existing methods suffer from compromised editing fidelity and limited usability as they either ignore pose variations (unrealistic editing) or require paired training data (not easy to collect) for pose controls. This paper presents POCE, an innovative pose-controllable expression editing network that can generate realistic facial expressions and head poses simultaneously with just unpaired training images. POCE achieves the more accessible and realistic pose-controllable expression editing by mapping face images into UV space, where facial expressions and head poses can be disentangled and edited separately. POCE has two novel designs. The first is self-supervised UV completion that allows to complete UV maps sampled under different head poses, which often suffer from self-occlusions and missing facial texture. The second is weakly-supervised UV editing that allows to generate new facial expressions with minimal modification of facial identity, where the synthesized expression could be controlled by either an expression label or directly transplanted from a reference UV map via feature transfer. Extensive experiments show that POCE can learn from unpaired face images effectively, and the learned model can generate realistic and high-fidelity facial expressions under various new poses.
• Abstract（参考訳）: 近年、深層ニューラルネットワークの進歩に伴い、表情編集が注目を集めている。 しかし、既存のほとんどのメソッドは、ポーズのバリエーション(非現実的な編集)を無視したり、ペア化されたトレーニングデータ(簡単に収集できない)を必要とするため、編集の正確さとユーザビリティの制限に悩まされている。 本稿では,現実的な表情と頭部のポーズを,未経験の訓練画像と同時に生成できる,革新的なポーズ制御式編集ネットワークであるPOCEを提案する。 POCEは、顔画像をUV空間にマッピングすることで、よりアクセシブルでリアルなポーズ制御可能な表現編集を実現する。 POCEには2つの新しいデザインがある。 ひとつは自己監督型UVの完成で、異なる頭部ポーズの下でサンプリングされたUVマップを完結させることができる。 2つ目は、弱い教師付きUV編集であり、顔のアイデンティティの最小限の修正で新しい表情を生成することができ、そこで合成された表情は、表現ラベルによって制御するか、特徴伝達を介して参照UVマップから直接移植される。 広汎な実験により、POCEは不自由な顔画像から効果的に学習できることが示され、学習モデルは様々な新しいポーズの下で現実的で高忠実な表情を生成することができる。

関連論文リスト

• Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
  人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。 現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。 顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
  論文  参考訳（メタデータ） (2024-07-25T18:29:48Z)
• MagicPose: Realistic Human Poses and Facial Expressions Retargeting with Identity-aware Diffusion [22.62170098534097]
  人間の2次元ポーズと表情の拡散に基づくモデルであるMagicPoseを提案する。 画像拡散モデルの事前の知識を活用することで、MagicPoseは目に見えない人間のアイデンティティや複雑なポーズをうまく一般化する。 提案したモデルは使いやすく、安定拡散に対するプラグインモジュール/拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-11-18T10:22:44Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• DPE: Disentanglement of Pose and Expression for General Video Portrait Editing [30.1002454931945]
  ワンショット映像駆動音声生成は、映像から任意の肖像画に顔の動きを移して合成音声を生成することを目的としている。 本稿では,3DMMとペアデータなしでポーズと表現を分離する,新しい自己教師型アンタングル化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-16T06:39:51Z)
• Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
  ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。 入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。 3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:29:29Z)
• PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
  本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。 ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。 StyleGANの潜在空間で学習する監督問題を設計します。 これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-13T08:59:49Z)
• HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
  HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
  論文  参考訳（メタデータ） (2020-12-15T12:51:32Z)
• Facial UV Map Completion for Pose-invariant Face Recognition: A Novel Adversarial Approach based on Coupled Attention Residual UNets [3.999563862575646]
  本稿では,UVマップの完成度を向上させるために,Attention ResCUNet-GANと呼ばれる新しい生成モデルを提案する。 提案手法は既存手法に比べて優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-11-02T11:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。