論文の概要: Semantics-Guided Object Removal for Facial Images: with Broad
Applicability and Robust Style Preservation
- arxiv url: http://arxiv.org/abs/2209.14479v1
- Date: Thu, 29 Sep 2022 00:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:37:06.527479
- Title: Semantics-Guided Object Removal for Facial Images: with Broad
Applicability and Robust Style Preservation
- Title（参考訳）: 顔画像に対する意味誘導型物体除去法--広帯域適用性とロバストスタイル保存
- Authors: Jookyung Song, Yeonjin Chang, Seonguk Park, Nojun Kwak
- Abstract要約: 顔画像における物体の除去と画像の塗布は、顔画像を妨げる物体を特に標的にし、除去し、適切に再構成された顔画像に置き換えるタスクである。
U-netと変調ジェネレータを利用する2つの異なるアプローチは、それぞれに固有の利点があるが、それぞれの手法の固有の欠点にもかかわらず、このタスクに対して広く支持されている。
本稿では,SGIN(Semantics-Guided Inpainting Network)を提案する。
- 参考スコア（独自算出の注目度）: 29.162655333387452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Object removal and image inpainting in facial images is a task in which
objects that occlude a facial image are specifically targeted, removed, and
replaced by a properly reconstructed facial image. Two different approaches
utilizing U-net and modulated generator respectively have been widely endorsed
for this task for their unique advantages but notwithstanding each method's
innate disadvantages. U-net, a conventional approach for conditional GANs,
retains fine details of unmasked regions but the style of the reconstructed
image is inconsistent with the rest of the original image and only works
robustly when the size of the occluding object is small enough. In contrast,
the modulated generative approach can deal with a larger occluded area in an
image and provides {a} more consistent style, yet it usually misses out on most
of the detailed features. This trade-off between these two models necessitates
an invention of a model that can be applied to any size of mask while
maintaining a consistent style and preserving minute details of facial
features. Here, we propose Semantics-Guided Inpainting Network (SGIN) which
itself is a modification of the modulated generator, aiming to take advantage
of its advanced generative capability and preserve the high-fidelity details of
the original image. By using the guidance of a semantic map, our model is
capable of manipulating facial features which grants direction to the
one-to-many problem for further practicability.
- Abstract（参考訳）: 顔画像における物体の除去と画像の塗布は、顔画像を妨げる物体を特に標的にし、除去し、適切に再構成された顔画像に置き換えるタスクである。
u-net と modulated generator の2つの異なるアプローチは、それぞれ独自の利点があるが、それぞれのメソッドの固有の欠点に拘わらず、このタスクに広く支持されている。
従来の条件付きganのアプローチであるu-netは、未マスク領域の詳細な詳細を保持するが、再構成された画像のスタイルは、元の画像の他の部分と一致せず、occludingオブジェクトのサイズが十分に小さい場合にのみ頑健に動作する。
対照的に、変調された生成アプローチは、画像のより大きな隠蔽領域に対処でき、より一貫性のあるスタイルを提供するが、たいていは詳細な特徴のほとんどを見逃す。
この2つのモデル間のトレードオフは、一貫性のあるスタイルを維持しながら、顔の特徴の細かい詳細を保ちながら、どんなサイズのマスクにも適用できるモデルの発明を必要としている。
本稿では,変調生成器自体の修正であるsgin(semantics-guided inpainting network)を提案する。
セマンティックマップのガイダンスを用いて,より実践性を高めるために一対多の問題への方向性を与える顔の特徴を操作することができる。
関連論文リスト
- ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification [60.73617868629575]
深層学習に基づく顔操作の誤用は、公民権に対する潜在的な脅威となる。
この不正行為を防ぐため、プロアクティブな防御技術が提案され、操作プロセスを妨害した。
我々は,ID-Guardと呼ばれる,顔操作と戦うための新しい普遍的枠組みを提案する。
論文 参考訳（メタデータ） (2024-09-20T09:30:08Z) - Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳（メタデータ） (2024-09-11T13:43:53Z) - Obtaining Favorable Layouts for Multiple Object Generation [50.616875565173274]
大規模なテキスト・ツー・イメージモデルでは、テキスト・プロンプトに基づいて高品質で多様な画像を生成することができる。
しかし、既存の最先端拡散モデルでは、複数の被写体を含む画像を生成する際に困難に直面している。
誘導原理に基づく新しい手法を提案し、拡散モデルが最初にレイアウトを提案し、次にレイアウトグリッドを並べ替えることを可能にする。
これは、提案したマスクに固執するようにクロスアテンションマップ(XAM)を強制し、潜在マップから私たちによって決定された新しい場所へピクセルを移動させることによって達成される。
論文 参考訳（メタデータ） (2024-05-01T18:07:48Z) - When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for
Personalized Image Generation [60.305112612629465]
テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。
本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。
提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
論文 参考訳（メタデータ） (2023-11-29T09:05:14Z) - DIFAI: Diverse Facial Inpainting using StyleGAN Inversion [18.400846952014188]
本稿では,StyleGANの埋め込み空間を利用した多彩な顔塗布のための新しい枠組みを提案する。
本フレームワークでは,pSpエンコーダとSeFaアルゴリズムを用いて,StyleGAN埋め込みのセマンティックコンポーネントを特定し,提案したSPARNデコーダに供給する。
論文 参考訳（メタデータ） (2023-01-20T06:51:34Z) - Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with
Conditional StyleGAN [88.62422914645066]
任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。
既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。
本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
論文 参考訳（メタデータ） (2021-09-13T17:59:33Z) - One-shot domain adaptation for semantic face editing of real world
images using StyleALAE [7.541747299649292]
styleALAEは遅延空間ベースのオートエンコーダで、高品質のフォトリアリスティック画像を生成することができる。
我々の研究は、再構成された画像の同一性が与えられた入力画像と同じであることを保証します。
さらに、事前訓練されたスタイルALAEモデルの潜在空間を用いて、再構成画像に対する意味的な修正を生成する。
論文 参考訳（メタデータ） (2021-08-31T14:32:18Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-11-30T13:42:39Z) - Enhanced Residual Networks for Context-based Image Outpainting [0.0]
深いモデルは、保持された情報を通してコンテキストや外挿を理解するのに苦労する。
現在のモデルでは、生成的敵ネットワークを使用して、局所的な画像特徴の整合性が欠如し、偽のように見える結果を生成する。
本稿では,局所的・大域的判別器の使用と,ネットワークの符号化部における残差ブロックの追加という,この問題を改善するための2つの方法を提案する。
論文 参考訳（メタデータ） (2020-05-14T05:14:26Z) - Domain Embedded Multi-model Generative Adversarial Networks for
Image-based Face Inpainting [44.598234654270584]
そこで本研究では,大規模刈り取り領域で顔画像の塗布を行うためのドメイン組込み多モデル生成逆数モデルを提案する。
CelebAとCelebA-HQの両方の顔データセットに対する実験により、提案手法が最先端の性能を達成したことを示す。
論文 参考訳（メタデータ） (2020-02-05T17:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。