論文の概要: Iterative Facial Image Inpainting using Cyclic Reverse Generator
- arxiv url: http://arxiv.org/abs/2101.07036v1
- Date: Mon, 18 Jan 2021 12:19:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 05:51:39.422351
- Title: Iterative Facial Image Inpainting using Cyclic Reverse Generator
- Title（参考訳）: サイクリックリバースジェネレータを用いた反復顔画像インペインティング
- Authors: Yahya Dogan and Hacer Yalim Keles
- Abstract要約: Cyclic Reverse Generator (CRG)アーキテクチャはエンコーダジェネレータモデルを提供する。
提案モデルを用いて実写画像を生成するには,数回の反復しか十分でないことを実証的に観察した。
本手法では,様々なマスクタイプを用いてスケッチベースのインペインティングを適用でき,多種多様な結果が得られる。
- 参考スコア（独自算出の注目度）: 0.913755431537592
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Facial image inpainting is a challenging problem as it requires generating
new pixels that include semantic information for masked key components in a
face, e.g., eyes and nose. Recently, remarkable methods have been proposed in
this field. Most of these approaches use encoder-decoder architectures and have
different limitations such as allowing unique results for a given image and a
particular mask. Alternatively, some approaches generate promising results
using different masks with generator networks. However, these approaches are
optimization-based and usually require quite a number of iterations. In this
paper, we propose an efficient solution to the facial image painting problem
using the Cyclic Reverse Generator (CRG) architecture, which provides an
encoder-generator model. We use the encoder to embed a given image to the
generator space and incrementally inpaint the masked regions until a plausible
image is generated; a discriminator network is utilized to assess the generated
images during the iterations. We empirically observed that only a few
iterations are sufficient to generate realistic images with the proposed model.
After the generation process, for the post processing, we utilize a Unet model
that we trained specifically for this task to remedy the artifacts close to the
mask boundaries. Our method allows applying sketch-based inpaintings, using
variety of mask types, and producing multiple and diverse results. We
qualitatively compared our method with the state-of-the-art models and observed
that our method can compete with the other models in all mask types; it is
particularly better in images where larger masks are utilized.
- Abstract（参考訳）: 顔画像のインペインティングは、顔にマスクされたキーコンポーネント(例えば目と鼻)の意味情報を含む新しいピクセルを生成する必要があるため、難しい問題である。
近年,この分野では注目すべき手法が提案されている。
これらのアプローチのほとんどはエンコーダ-デコーダアーキテクチャを使用しており、与えられた画像と特定のマスクのユニークな結果を可能にするといった制限がある。
あるいは、ジェネレータネットワークと異なるマスクを使って有望な結果を生み出すアプローチもある。
しかしながら、これらのアプローチは最適化ベースであり、通常多くのイテレーションを必要とする。
本稿では, 循環逆生成器(cyclic reverse generator, crg)アーキテクチャを用いた, コーダ生成器モデルによる顔画像描画問題に対する効率的な解法を提案する。
このエンコーダを用いて、生成領域に所定の画像を埋め込み、可算な画像が生成されるまでマスク領域を段階的に塗りつぶし、反復中に生成された画像を評価するために判別器ネットワークを利用する。
提案したモデルを用いて実写画像を生成するには,数イテレーションで十分であることがわかった。
生成プロセスの後、ポスト処理では、マスク境界に近いアーティファクトを修復するために、このタスクのために特別に訓練したUnetモデルを使用します。
本手法では,様々なマスクタイプを用いてスケッチベースのインペインティングを適用でき,多種多様な結果が得られる。
我々は,この手法を最先端のモデルと比較し,全てのマスクタイプにおいて他のモデルと競合することを観察した。
関連論文リスト
- Inpainting-Driven Mask Optimization for Object Removal [15.429649454099085]
本稿では,画像塗布による物体除去の品質向上のためのマスク最適化手法を提案する。
本手法では, この領域ギャップを, セグメンテーションにより抽出した物体マスクを用いて塗装ネットワークを訓練することにより解決する。
被塗布用マスクを最適化するために、セグメンテーションネットワークは塗工ネットワークに接続され、塗工性能を向上させるために訓練されたエンド・ツー・エンドに接続される。
論文 参考訳（メタデータ） (2024-03-23T13:52:16Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳（メタデータ） (2023-03-12T05:28:55Z) - MaskSketch: Unpaired Structure-guided Masked Image Generation [56.88038469743742]
MaskSketchは、サンプリング中の余分な条件信号としてガイドスケッチを使用して生成結果の空間的条件付けを可能にする画像生成方法である。
マスク付き生成変換器の中間自己アテンションマップが入力画像の重要な構造情報を符号化していることを示す。
以上の結果から,MaskSketchは誘導構造に対する高画像リアリズムと忠実性を実現する。
論文 参考訳（メタデータ） (2023-02-10T20:27:02Z) - Shape-Aware Masking for Inpainting in Medical Imaging [49.61617087640379]
インペイントは、教師なしの医用画像モデル発見のためのディープラーニング技術として成功している。
本稿では, 先行する統計的形状の学習を目的とした, 塗装用形状認識マスクの生成手法を提案する。
市販の塗装モデルとスーパーピクセルオーバーセグメンテーションアルゴリズムに基づく教師なしマスキング手法を提案する。
論文 参考訳（メタデータ） (2022-07-12T18:35:17Z) - RePaint: Inpainting using Denoising Diffusion Probabilistic Models [161.74792336127345]
Free-form Inpaintingは任意のバイナリマスクで指定された領域のイメージに新しいコンテンツを追加するタスクである。
RePaint: A Denoising Probabilistic Model (DDPM) を用いた塗装手法を提案する。
本手法は,標準的なマスクと極端マスクを用いて,顔と汎用画像の塗装の両面で検証する。
論文 参考訳（メタデータ） (2022-01-24T18:40:15Z) - Learning Sparse Masks for Diffusion-based Image Inpainting [10.633099921979674]
拡散ベースの塗布はスパースデータから画像の再構成に強力なツールである。
我々は高効率な適応マスク生成モデルを提供する。
実験により,我々のモデルは最大4桁の加速度で競争品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-10-06T10:20:59Z) - Few-shot Semantic Image Synthesis Using StyleGAN Prior [8.528384027684192]
本稿では,STYPEGANを用いたセマンティックマスクの擬似ラベリングを行うトレーニング戦略を提案する。
私たちの重要なアイデアは、semantic masksの例から、スタイルガン機能と各セマンティッククラスの単純なマッピングを構築することです。
擬似セマンティックマスクは、ピクセル整列マスクを必要とする従来のアプローチでは粗いかもしれないが、我々のフレームワークは、濃密なセマンティックマスクだけでなく、ランドマークやスクリブルのようなスパース入力から高品質な画像を合成することができる。
論文 参考訳（メタデータ） (2021-03-27T11:04:22Z) - Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。
エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。
本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-29T14:46:05Z) - R-MNet: A Perceptual Adversarial Network for Image Inpainting [5.471225956329675]
本稿では,新たな逆マスク演算子であるReverse Masking Network(R-MNet)と組み合わせたWasserstein GANを提案する。
提案手法は,高分解能な塗装作業に一般化でき,人間の視覚系に適応可能なよりリアルな出力を示す。
論文 参考訳（メタデータ） (2020-08-11T10:58:10Z) - Swapping Autoencoder for Deep Image Manipulation [94.33114146172606]
画像操作に特化して設計されたディープモデルであるSwapping Autoencoderを提案する。
キーとなるアイデアは、2つの独立したコンポーネントで画像をエンコードし、交換された組み合わせをリアルなイメージにマップするように強制することだ。
複数のデータセットの実験により、我々のモデルはより良い結果が得られ、最近の生成モデルと比較してかなり効率が良いことが示されている。
論文 参考訳（メタデータ） (2020-07-01T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。