論文の概要: ManiCLIP: Multi-Attribute Face Manipulation from Text
- arxiv url: http://arxiv.org/abs/2210.00445v3
- Date: Sun, 26 Mar 2023 01:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 02:26:36.357197
- Title: ManiCLIP: Multi-Attribute Face Manipulation from Text
- Title（参考訳）: ManiCLIP: テキストからの多属性顔操作
- Authors: Hao Wang, Guosheng Lin, Ana Garc\'ia del Molino, Anran Wang, Jiashi
Feng, Zhiqi Shen
- Abstract要約: テキスト記述に基づく新しい多属性顔操作法を提案する。
本手法は,テキスト関連属性の編集を最小限に抑えた自然な顔を生成する。
- 参考スコア（独自算出の注目度）: 104.30600573306991
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we present a novel multi-attribute face manipulation method
based on textual descriptions. Previous text-based image editing methods either
require test-time optimization for each individual image or are restricted to
single attribute editing. Extending these methods to multi-attribute face image
editing scenarios will introduce undesired excessive attribute change, e.g.,
text-relevant attributes are overly manipulated and text-irrelevant attributes
are also changed. In order to address these challenges and achieve natural
editing over multiple face attributes, we propose a new decoupling training
scheme where we use group sampling to get text segments from same attribute
categories, instead of whole complex sentences. Further, to preserve other
existing face attributes, we encourage the model to edit the latent code of
each attribute separately via an entropy constraint. During the inference
phase, our model is able to edit new face images without any test-time
optimization, even from complex textual prompts. We show extensive experiments
and analysis to demonstrate the efficacy of our method, which generates natural
manipulated faces with minimal text-irrelevant attribute editing. Code and
pre-trained model are available at https://github.com/hwang1996/ManiCLIP.
- Abstract（参考訳）: 本稿では,テキスト記述に基づく新しい多属性顔操作手法を提案する。
従来のテキストベースの画像編集方法は、個々の画像に対するテスト時間最適化を必要とするか、単一の属性編集に限定されている。
例えば、テキスト関連属性は過剰に操作され、テキスト関連属性も変更される。
これらの課題に対処し、複数の顔属性の自然な編集を実現するために、グループサンプリングを用いて、複雑な文全体ではなく、同じ属性カテゴリからテキストセグメントを取得する新しいデカップリングトレーニング方式を提案する。
さらに,既存の顔属性を保存するために,各属性の潜在コードをエントロピー制約で別々に編集することを推奨する。
推論フェーズでは、複雑なテキストプロンプトからでも、テスト時間最適化なしで新しい顔画像の編集が可能です。
本手法の有効性を示すために,テキスト関連属性を最小限に抑えた自然な顔を生成する実験と解析を行った。
コードと事前訓練されたモデルはhttps://github.com/hwang1996/ManiCLIPで入手できる。
関連論文リスト
- AdapEdit: Spatio-Temporal Guided Adaptive Editing Algorithm for
Text-Based Continuity-Sensitive Image Editing [24.9487669818162]
本稿では,適応的な画像編集を実現するための時間的ガイド付き適応編集アルゴリズムAdapEditを提案する。
我々のアプローチは、モデルの事前保存において大きな利点があり、モデルトレーニング、微調整された追加データ、最適化を必要としない。
提案手法は,様々な原画像や編集命令を対象とし,競争性能を実証し,従来の手法よりも優れていたことを示す。
論文 参考訳（メタデータ） (2023-12-13T09:45:58Z) - Localizing and Editing Knowledge in Text-to-Image Generative Models [62.02776252311559]
異なる属性に関する知識は、独立したコンポーネントにローカライズされず、代わりに条件付きUNetのコンポーネントセットに分散される。
テキスト・ツー・イメージ・モデルの概念を効果的に編集できる高速でデータフリーなモデル編集手法Diff-QuickFixを提案する。
論文 参考訳（メタデータ） (2023-10-20T17:31:12Z) - DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。
私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
論文 参考訳（メタデータ） (2022-10-20T17:16:37Z) - Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion
Image Manipulation [27.587905673112473]
ファッション属性編集は、無関係な領域を保存しながら、所定のファッション画像の意味的属性を変換することを目的としたタスクである。
以前の作業では、ジェネレータがターゲット属性を明示的に学習し、変換を直接実行する条件付きGANを使用していた。
画像ネットのような一般的な視覚的セマンティクスに基づいて事前訓練されたオフザシェルフ拡散モデルを利用する分類器誘導拡散について検討する。
論文 参考訳（メタデータ） (2022-10-12T02:21:18Z) - Everything is There in Latent Space: Attribute Editing and Attribute
Style Manipulation by StyleGAN Latent Space Exploration [39.18239951479647]
RAAME (Few-shot Latent-based Attribute Manipulation and Editing) について紹介する。
FLAMEは、遅延空間操作によって高度に制御された画像編集を行うためのフレームワークである。
様々な属性スタイルをアンタングル的に生成する。
論文 参考訳（メタデータ） (2022-07-20T12:40:32Z) - Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。
並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。
テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文 参考訳（メタデータ） (2022-04-15T07:38:08Z) - Each Attribute Matters: Contrastive Attention for Sentence-based Image
Editing [13.321782757637303]
文ベースの画像編集(SIE)は、画像の編集に自然言語をデプロイすることを目的としている。
既存の方法では、クエリ文が複数の編集可能な属性を持つ場合、正確な編集がほとんどできない。
本稿では,Contrastive Attention Generative Adversarial Network (CA-GAN) と呼ばれる新しいモデルを提案する。
論文 参考訳（メタデータ） (2021-10-21T14:06:20Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space
Navigation [136.53288628437355]
コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。
現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。
本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
論文 参考訳（メタデータ） (2021-02-01T21:38:36Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-11-30T13:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。