論文の概要: Adaptive Nonlinear Latent Transformation for Conditional Face Editing

• arxiv url: http://arxiv.org/abs/2307.07790v1
• Date: Sat, 15 Jul 2023 12:36:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 17:47:49.381651
• Title: Adaptive Nonlinear Latent Transformation for Conditional Face Editing
• Title（参考訳）: 条件付き顔編集のための適応非線形潜時変換
• Authors: Zhizhong Huang, Siteng Ma, Junping Zhang, Hongming Shan
• Abstract要約: 本稿では,AdaTrans と呼ばれる不整合および条件付き顔編集のための適応型非線形潜時変換を提案する。 AdaTransは、操作プロセスをいくつかの細かいステップに分割する。つまり、各ステップの方向と大きさは、顔属性と潜伏符号の両方で条件付けられる。 AdaTransは、切り離し、非バイナリ属性による柔軟性、高忠実さの利点により、制御可能な顔編集を可能にする。
• 参考スコア（独自算出の注目度）: 40.32385363670918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works for face editing usually manipulate the latent space of StyleGAN via the linear semantic directions. However, they usually suffer from the entanglement of facial attributes, need to tune the optimal editing strength, and are limited to binary attributes with strong supervision signals. This paper proposes a novel adaptive nonlinear latent transformation for disentangled and conditional face editing, termed AdaTrans. Specifically, our AdaTrans divides the manipulation process into several finer steps; i.e., the direction and size at each step are conditioned on both the facial attributes and the latent codes. In this way, AdaTrans describes an adaptive nonlinear transformation trajectory to manipulate the faces into target attributes while keeping other attributes unchanged. Then, AdaTrans leverages a predefined density model to constrain the learned trajectory in the distribution of latent codes by maximizing the likelihood of transformed latent code. Moreover, we also propose a disentangled learning strategy under a mutual information framework to eliminate the entanglement among attributes, which can further relax the need for labeled data. Consequently, AdaTrans enables a controllable face editing with the advantages of disentanglement, flexibility with non-binary attributes, and high fidelity. Extensive experimental results on various facial attributes demonstrate the qualitative and quantitative effectiveness of the proposed AdaTrans over existing state-of-the-art methods, especially in the most challenging scenarios with a large age gap and few labeled examples. The source code is available at https://github.com/Hzzone/AdaTrans.
• Abstract（参考訳）: 最近の顔編集の研究は、通常、線形意味方向を通してStyleGANの潜伏空間を操作している。 しかし、通常、顔属性の絡み合いに悩まされ、最適な編集強度を調整し、強力な監視信号を持つバイナリ属性に限定される。 本稿では,不連続および条件付き顔編集のための適応型非線形潜時変換法を提案する。 具体的には、AdaTransは操作プロセスをいくつかの細かいステップに分割する。つまり、各ステップの方向と大きさは、顔属性と潜伏符号の両方で条件付けされる。 このように、AdaTransは適応的な非線形変換軌道を記述し、他の属性を変更せずに顔を対象属性に操作する。 次に、AdaTransは予め定義された密度モデルを利用して、変換された潜在符号の確率を最大化することにより、潜在符号の分布における学習軌跡を制約する。 さらに,属性間の絡み合いをなくし,ラベル付きデータの必要性を一層緩和するための相互情報枠組みの下での絡み合い学習戦略を提案する。 その結果、AdaTransは、アンタングルメント、非バイナリ属性による柔軟性、高忠実さの利点により、制御可能な顔編集を可能にする。 様々な顔の属性に関する広範囲な実験の結果は、既存の最先端の手法、特に年齢差が大きくラベル付き例の少ない最も困難なシナリオにおいて、提案するadatransの質的かつ定量的な有効性を示している。 ソースコードはhttps://github.com/Hzzone/AdaTransで入手できる。

関連論文リスト

• ReDirTrans: Latent-to-Latent Translation for Gaze and Head Redirection [12.474515318770237]
  学習に基づく視線推定法は、正確な視線アノテーションを用いた大量の訓練データを必要とする。 本稿では,視線方向のリダイレクトを行うために,ReDirTransと呼ばれる携帯型ネットワークを提案する。 また、データセット拡張としてリダイレクトされたサンプルを用いて、下流学習に基づく視線推定タスクの改善を提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:13:26Z)
• Expanding the Latent Space of StyleGAN for Real Face Editing [4.1715767752637145]
  セマンティックな操作に事前訓練されたStyleGANを使用するために、顔編集技術の急増が提案されている。 実際の画像を編集するには、最初に入力された画像をStyleGANの潜伏変数に変換する必要がある。 本稿では,低歪みと高編集性の間のトレードオフを断ち切るために,コンテンツ機能の追加により,StyleGANの潜伏空間を拡張する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T18:27:53Z)
• High-resolution Face Swapping via Latent Semantics Disentanglement [50.23624681222619]
  本稿では,事前学習したGANモデルの事前知識を用いた,新しい高分解能幻覚顔交換法を提案する。 我々は、ジェネレータの進行的な性質を利用して、潜在意味論を明示的に解き放つ。 我々は,2時間制約を潜時空間と画像空間に課すことにより,映像面スワップに拡張する。
  論文  参考訳（メタデータ） (2022-03-30T00:33:08Z)
• Latent Transformations via NeuralODEs for GAN-based Image Editing [25.272389610447856]
  トレーニング可能なNeural ODEのフローとして実現された非線形潜時符号操作は、多くの実用的な非顔画像領域にとって有益であることを示す。 特に、既知の属性を持つ多数のデータセットを調査し、ある属性操作が線形シフトのみで取得することが困難であることを実証する。
  論文  参考訳（メタデータ） (2021-11-29T18:59:54Z)
• FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces [9.664892091493586]
  FacialGANは、リッチなスタイル転送と対話的な顔属性操作を可能にする新しいフレームワークである。 モデルが視覚的に説得力のある結果を生み出す能力は,スタイル伝達,属性操作,多様性,顔認証などである。
  論文  参考訳（メタデータ） (2021-10-18T15:53:38Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• GAN "Steerability" without optimization [32.63317794951011]
  操縦」の方向は意味的に意味のある画像変換に対応する。 本稿では,発電機の重みから直接「ステアリング」軌道をクローズド形式で計算できることを示した。
  論文  参考訳（メタデータ） (2020-12-09T21:34:34Z)
• AOT: Appearance Optimal Transport Based Identity Swapping for Forgery Detection [76.7063732501752]
  顔偽造検出のための外観の相違が大きい新しい識別スワップアルゴリズムを提案する。 外観のギャップは主に、照明と肌の色における大きな相違から生じる。 実画像パッチと偽画像パッチの混在とを識別するために識別器を導入する。
  論文  参考訳（メタデータ） (2020-11-05T06:17:04Z)
• PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing [67.94255549416548]
  顔属性編集のためのプログレッシブアテンションGAN(PA-GAN)を提案する。 提案手法は,非関連情報による属性の正確な編集を,最先端技術と比較してはるかによく保存する。
  論文  参考訳（メタデータ） (2020-07-12T03:04:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。