論文の概要: Out-of-domain GAN inversion via Invertibility Decomposition for Photo-Realistic Human Face Manipulation

• arxiv url: http://arxiv.org/abs/2212.09262v2
• Date: Thu, 8 Jun 2023 15:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 20:12:27.200951
• Title: Out-of-domain GAN inversion via Invertibility Decomposition for Photo-Realistic Human Face Manipulation
• Title（参考訳）: 可逆分解による領域外ganインバージョン : フォトリアリスティックな顔操作
• Authors: Xin Yang, Xiaogang Xu, Yingcong Chen
• Abstract要約: そこで我々は,新しいモジュールを設計することで,人間の顔の逆転の忠実度を高める新しいフレームワークを提案する。 従来の手法とは異なり、我々の可逆検出器は空間アライメントモジュールで同時に学習される。 本手法は実世界の人間の顔画像の逆転と操作のための実測結果を生成する。
• 参考スコア（独自算出の注目度）: 22.71398343370642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fidelity of Generative Adversarial Networks (GAN) inversion is impeded by Out-Of-Domain (OOD) areas (e.g., background, accessories) in the image. Detecting the OOD areas beyond the generation ability of the pre-trained model and blending these regions with the input image can enhance fidelity. The "invertibility mask" figures out these OOD areas, and existing methods predict the mask with the reconstruction error. However, the estimated mask is usually inaccurate due to the influence of the reconstruction error in the In-Domain (ID) area. In this paper, we propose a novel framework that enhances the fidelity of human face inversion by designing a new module to decompose the input images to ID and OOD partitions with invertibility masks. Unlike previous works, our invertibility detector is simultaneously learned with a spatial alignment module. We iteratively align the generated features to the input geometry and reduce the reconstruction error in the ID regions. Thus, the OOD areas are more distinguishable and can be precisely predicted. Then, we improve the fidelity of our results by blending the OOD areas from the input image with the ID GAN inversion results. Our method produces photo-realistic results for real-world human face image inversion and manipulation. Extensive experiments demonstrate our method's superiority over existing methods in the quality of GAN inversion and attribute manipulation.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)のインバージョンは、画像内のout-Of-Domain(OOD)領域(例えば、バックグラウンド、アクセサリー)によって阻害される。 事前訓練されたモデルの生成能力を超えるOOD領域を検出し、これらの領域を入力画像とブレンドすることで、忠実度を高めることができる。 インバータビリティマスク」はこれらのOOD領域を解析し、既存の手法では復元誤差でマスクを予測する。 しかし、推定されたマスクは通常、ドメイン内(id)領域の再構成誤差の影響で不正確である。 本稿では,入力画像をidおよびoodパーティションに可逆マスクで分解する新しいモジュールをデザインすることにより,顔の反転の忠実性を高める新しい枠組みを提案する。 従来の手法とは異なり、我々の可逆検出器は空間アライメントモジュールで同時に学習される。 生成した特徴を入力形状に反復的に整列し,ID領域の再構成誤差を低減する。 したがって、OOD領域はより区別しやすく、正確に予測できる。 そして、入力画像からOOD領域とID GAN逆変換結果とを混合することにより、結果の忠実度を向上させる。 本手法は実世界の人間の顔画像の逆転と操作のための実測結果を生成する。 GANインバージョンと属性操作の品質において,本手法が既存の手法よりも優れていることを示す。

関連論文リスト

• LADMIM: Logical Anomaly Detection with Masked Image Modeling in Discrete Latent Space [0.0]
  マスク付き画像モデリングは、画像中のマスキング領域の特徴表現を予測する自己教師付き学習技術である。 本稿では,MIMの特性を利用して論理異常を効果的に検出する手法を提案する。 提案手法をMVTecLOCOデータセット上で評価し,平均AUC 0.867。
  論文  参考訳（メタデータ） (2024-10-14T07:50:56Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection [18.10039647382319]
  本稿では,未知のテクストグロス汚損による画像復元を実現するために,ロバスト・ガン・インバージョン(RGI)法を提案する。 復元された画像と識別された領域のマスクは、地上の真実に収束することを示す。 提案したRGI/R-RGI法は,2つの重要な応用とSOTA(State-of-the-art)性能を統一する。
  論文  参考訳（メタデータ） (2023-02-24T05:43:03Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
  本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。 生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。 また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
  論文  参考訳（メタデータ） (2022-07-17T10:34:58Z)
• REPLICA: Enhanced Feature Pyramid Network by Local Image Translation and Conjunct Attention for High-Resolution Breast Tumor Detection [6.112883009328882]
  本稿では,局所画像翻訳と接続注意(REPLICA)による再生ネットワークの強化について述べる。 我々は、畳み込みオートエンコーダを発電機として使用し、局所ピラミッドを介して画像にオブジェクトを注入し、それらの特徴を隠蔽層で抽出して、新しい画像を生成する。 そして、シミュレーション画像の数が多いため、視覚変換器を使用して、特徴ピラミッドネットワークへの入力として機能する各ResNet層の出力を強化する。
  論文  参考訳（メタデータ） (2021-11-22T21:33:02Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。