論文の概要: Barbershop: GAN-based Image Compositing using Segmentation Masks
- arxiv url: http://arxiv.org/abs/2106.01505v1
- Date: Wed, 2 Jun 2021 23:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 16:02:07.944047
- Title: Barbershop: GAN-based Image Compositing using Segmentation Masks
- Title(参考訳): Barbershop: セグメンテーションマスクを用いたGANベースの画像合成
- Authors: Peihao Zhu, Rameen Abdal, John Femiani, Peter Wonka
- Abstract要約: 本稿では,GAN-インバージョンに基づく画像ブレンディング,特にヘアスタイル転写問題に対する新しい解を提案する。
ユーザによる調査では,ブレンディングソリューションが95%以上であるのに対して,ユーザによる評価では,現在の技術よりも大きな改善が見られた。
- 参考スコア(独自算出の注目度): 40.85660781133709
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Seamlessly blending features from multiple images is extremely challenging
because of complex relationships in lighting, geometry, and partial occlusion
which cause coupling between different parts of the image. Even though recent
work on GANs enables synthesis of realistic hair or faces, it remains difficult
to combine them into a single, coherent, and plausible image rather than a
disjointed set of image patches. We present a novel solution to image blending,
particularly for the problem of hairstyle transfer, based on GAN-inversion. We
propose a novel latent space for image blending which is better at preserving
detail and encoding spatial information, and propose a new GAN-embedding
algorithm which is able to slightly modify images to conform to a common
segmentation mask. Our novel representation enables the transfer of the visual
properties from multiple reference images including specific details such as
moles and wrinkles, and because we do image blending in a latent-space we are
able to synthesize images that are coherent. Our approach avoids blending
artifacts present in other approaches and finds a globally consistent image.
Our results demonstrate a significant improvement over the current state of the
art in a user study, with users preferring our blending solution over 95
percent of the time.
- Abstract(参考訳): 複数の画像から特徴をシームレスにブレンドすることは、画像の異なる部分間の結合を引き起こす照明、幾何学、部分的閉塞の複雑な関係のため、非常に困難である。
gansに関する最近の研究は、写実的な髪や顔の合成を可能にするが、それらを結合したイメージパッチではなく、単一のコヒーレントで妥当なイメージにまとめることは依然として困難である。
本稿では,GAN-インバージョンに基づく画像ブレンディング,特にヘアスタイル転写問題に対する新しい解を提案する。
本稿では,画像の細部保存や空間情報の符号化に優れる画像ブレンディングのための新しい潜時空間を提案し,共通セグメンテーションマスクに適合するように画像をわずかに修正できる新しいGAN埋め込みアルゴリズムを提案する。
提案手法では,モグラやシワなどの具体的詳細を含む複数の参照画像から視覚特性の転送が可能であり,潜在空間で画像ブレンドを行うため,コヒーレントな画像の合成が可能である。
我々のアプローチは、他のアプローチに存在するアーティファクトのブレンドを回避し、グローバルに一貫したイメージを見つける。
ユーザによる調査では,ブレンディングソリューションが95%以上であるのに対して,ユーザによる評価では,現在の技術よりも大きな改善が見られた。
関連論文リスト
- Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。
本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
論文 参考訳(メタデータ) (2023-07-27T17:41:36Z) - Image Blending Algorithm with Automatic Mask Generation [9.785996682757753]
マスク自動生成による画像ブレンディング手法を提案する。
セマンティックオブジェクトの検出とセグメンテーションとマスク生成を組み合わせることで、深いブレンド画像を実現する。
その結果,本手法は従来の画像ブレンディングアルゴリズムよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-06-08T17:31:24Z) - Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing [57.46189236379433]
本稿では,StyleGAN2 など,GAN の潜在空間における複雑な画像を反転・編集する手法を提案する。
我々のキーとなる考え方は、画像の難易度に逆過程を空間的に適応させることで、レイヤーの集合による逆転を探索することである。
論文 参考訳(メタデータ) (2022-06-16T17:57:49Z) - Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with
Conditional StyleGAN [88.62422914645066]
任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。
既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。
本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
論文 参考訳(メタデータ) (2021-09-13T17:59:33Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳(メタデータ) (2021-04-29T17:58:35Z) - Bridging the Visual Gap: Wide-Range Image Blending [16.464837892640812]
広域画像ブレンドを実現するための効果的なディープラーニングモデルを提案する。
提案手法が視覚的に魅力的な結果をもたらすことを実験的に実証した。
論文 参考訳(メタデータ) (2021-03-28T15:07:45Z) - Semantic Photo Manipulation with a Generative Image Prior [86.01714863596347]
GANは、ユーザスケッチ、テキスト、セマンティックラベルなどの入力に条件付きイメージを合成することができる。
GANが入力画像を正確に再現することは困難である。
本稿では,GANが以前に学んだイメージを個々の画像の統計に適応させることにより,これらの問題に対処する。
提案手法は,入力画像の外観と一致して,入力画像を正確に再構成し,新たなコンテンツを合成することができる。
論文 参考訳(メタデータ) (2020-05-15T18:22:05Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。