論文の概要: Barbershop: GAN-based Image Compositing using Segmentation Masks

• arxiv url: http://arxiv.org/abs/2106.01505v1
• Date: Wed, 2 Jun 2021 23:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:02:07.944047
• Title: Barbershop: GAN-based Image Compositing using Segmentation Masks
• Title（参考訳）: Barbershop: セグメンテーションマスクを用いたGANベースの画像合成
• Authors: Peihao Zhu, Rameen Abdal, John Femiani, Peter Wonka
• Abstract要約: 本稿では,GAN-インバージョンに基づく画像ブレンディング,特にヘアスタイル転写問題に対する新しい解を提案する。 ユーザによる調査では,ブレンディングソリューションが95%以上であるのに対して,ユーザによる評価では,現在の技術よりも大きな改善が見られた。
• 参考スコア（独自算出の注目度）: 40.85660781133709
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Seamlessly blending features from multiple images is extremely challenging because of complex relationships in lighting, geometry, and partial occlusion which cause coupling between different parts of the image. Even though recent work on GANs enables synthesis of realistic hair or faces, it remains difficult to combine them into a single, coherent, and plausible image rather than a disjointed set of image patches. We present a novel solution to image blending, particularly for the problem of hairstyle transfer, based on GAN-inversion. We propose a novel latent space for image blending which is better at preserving detail and encoding spatial information, and propose a new GAN-embedding algorithm which is able to slightly modify images to conform to a common segmentation mask. Our novel representation enables the transfer of the visual properties from multiple reference images including specific details such as moles and wrinkles, and because we do image blending in a latent-space we are able to synthesize images that are coherent. Our approach avoids blending artifacts present in other approaches and finds a globally consistent image. Our results demonstrate a significant improvement over the current state of the art in a user study, with users preferring our blending solution over 95 percent of the time.
• Abstract（参考訳）: 複数の画像から特徴をシームレスにブレンドすることは、画像の異なる部分間の結合を引き起こす照明、幾何学、部分的閉塞の複雑な関係のため、非常に困難である。 gansに関する最近の研究は、写実的な髪や顔の合成を可能にするが、それらを結合したイメージパッチではなく、単一のコヒーレントで妥当なイメージにまとめることは依然として困難である。 本稿では,GAN-インバージョンに基づく画像ブレンディング,特にヘアスタイル転写問題に対する新しい解を提案する。 本稿では,画像の細部保存や空間情報の符号化に優れる画像ブレンディングのための新しい潜時空間を提案し,共通セグメンテーションマスクに適合するように画像をわずかに修正できる新しいGAN埋め込みアルゴリズムを提案する。 提案手法では,モグラやシワなどの具体的詳細を含む複数の参照画像から視覚特性の転送が可能であり,潜在空間で画像ブレンドを行うため,コヒーレントな画像の合成が可能である。 我々のアプローチは、他のアプローチに存在するアーティファクトのブレンドを回避し、グローバルに一貫したイメージを見つける。 ユーザによる調査では,ブレンディングソリューションが95%以上であるのに対して,ユーザによる評価では,現在の技術よりも大きな改善が見られた。

関連論文リスト

• Making Images from Images: Interleaving Denoising and Transformation [5.776000002820102]
  我々は、画像の内容だけでなく、所望の画像を互いに変換するために必要なパラメータ化変換も学習する。 画像変換を学習することで、任意のソースイメージを事前に指定することができる。 従来の手法とは異なり、リージョンの数を増やすことで、この問題がより簡単になり、結果が改善される。
  論文  参考訳（メタデータ） (2024-11-24T17:13:11Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
  我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。 本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
  論文  参考訳（メタデータ） (2024-07-06T03:35:43Z)
• MULAN: A Multi Layer Annotated Dataset for Controllable Text-to-Image Generation [54.64194935409982]
  44K MUlti-Layer-wise RGBA 分解からなる新しいデータセット MuLAn を紹介する。 MuLAnは、高品質な画像のインスタンス分解と空間情報を提供する最初のフォトリアリスティックなリソースである。 我々は,新しい生成・編集技術,特にレイヤワイドソリューションの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-04-03T14:58:00Z)
• Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
  近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。 本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
  論文  参考訳（メタデータ） (2023-07-27T17:41:36Z)
• Image Blending Algorithm with Automatic Mask Generation [9.785996682757753]
  マスク自動生成による画像ブレンディング手法を提案する。 セマンティックオブジェクトの検出とセグメンテーションとマスク生成を組み合わせることで、深いブレンド画像を実現する。 その結果,本手法は従来の画像ブレンディングアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-08T17:31:24Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Bridging the Visual Gap: Wide-Range Image Blending [16.464837892640812]
  広域画像ブレンドを実現するための効果的なディープラーニングモデルを提案する。 提案手法が視覚的に魅力的な結果をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-28T15:07:45Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。