論文の概要: Pixel Sampling for Style Preserving Face Pose Editing

• arxiv url: http://arxiv.org/abs/2106.07310v1
• Date: Mon, 14 Jun 2021 11:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:56:22.039856
• Title: Pixel Sampling for Style Preserving Face Pose Editing
• Title（参考訳）: 顔ポーズ編集のスタイル保存のための画素サンプリング
• Authors: Xiangnan Yin, Di Huang, Hongyu Yang, Zehua Fu, Yunhong Wang, Liming Chen
• Abstract要約: ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。 入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。 3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
• 参考スコア（独自算出の注目度）: 53.14006941396712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The existing auto-encoder based face pose editing methods primarily focus on modeling the identity preserving ability during pose synthesis, but are less able to preserve the image style properly, which refers to the color, brightness, saturation, etc. In this paper, we take advantage of the well-known frontal/profile optical illusion and present a novel two-stage approach to solve the aforementioned dilemma, where the task of face pose manipulation is cast into face inpainting. By selectively sampling pixels from the input face and slightly adjust their relative locations with the proposed ``Pixel Attention Sampling" module, the face editing result faithfully keeps the identity information as well as the image style unchanged. By leveraging high-dimensional embedding at the inpainting stage, finer details are generated. Further, with the 3D facial landmarks as guidance, our method is able to manipulate face pose in three degrees of freedom, i.e., yaw, pitch, and roll, resulting in more flexible face pose editing than merely controlling the yaw angle as usually achieved by the current state-of-the-art. Both the qualitative and quantitative evaluations validate the superiority of the proposed approach.
• Abstract（参考訳）: 既存の自動エンコーダベースの顔ポーズ編集法は、主にポーズ合成時のアイデンティティ保存能力のモデル化に重点を置いているが、色、明るさ、彩度などのイメージスタイルを適切に保存できない。 本稿では、よく知られた前頭/目立たしい錯視を利用して、上記のジレンマを解決するための新しい2段階のアプローチを提案する。 入力面から画素を選択的にサンプリングし、提案した ``Pixel Attention Sampling" モジュールで相対位置をわずかに調整することにより、顔編集結果が画像スタイルとともにアイデンティティ情報を忠実に保持する。 塗装段階での高次元埋め込みを利用して、より微細な細部を生成する。 さらに、3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作でき、現在の最先端技術で達成されるようなヨーの角度を単に制御するよりも、より柔軟な顔のポーズを編集できる。 定性評価と定量的評価の両方が提案手法の優位性を検証する。

関連論文リスト

• SUPER: Selfie Undistortion and Head Pose Editing with Identity Preservation [37.89326064230339]
  Superは、クローズアップ顔作物の歪みを排除し、頭部のポーズを調整する新しい方法である。 我々は,カメラパラメータと顔潜時符号を最適化することにより,顔画像の3D GANインバージョンを行う。 得られた潜伏符号から深度を推定し、深度誘導型3Dメッシュを作成し、更新されたカメラパラメータでレンダリングし、歪んだポートレートを得る。
  論文  参考訳（メタデータ） (2024-06-18T15:14:14Z)
• End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
  本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。 顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
  論文  参考訳（メタデータ） (2023-03-07T19:16:20Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
  本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。 トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。 アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
  論文  参考訳（メタデータ） (2020-09-20T17:53:51Z)
• Reference-guided Face Component Editing [51.29105560090321]
  本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。 具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。 フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
  論文  参考訳（メタデータ） (2020-06-03T05:34:54Z)
• Exemplar-based Generative Facial Editing [2.272764591035106]
  そこで本研究では,この領域の画期的な顔編集のための新しい生成手法を提案する。 実験により,本手法は多種多様かつパーソナライズされた顔編集結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-05-31T09:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。