Fugu-MT 論文翻訳(概要): Diverse Inpainting and Editing with GAN Inversion

論文の概要: Diverse Inpainting and Editing with GAN Inversion

arxiv url: http://arxiv.org/abs/2307.15033v1
Date: Thu, 27 Jul 2023 17:41:36 GMT
ステータス: 処理完了
システム内更新日: 2023-07-28 13:32:24.177281
Title: Diverse Inpainting and Editing with GAN Inversion
Title（参考訳）: GANインバージョンによる多面体塗装と編集
Authors: Ahmet Burak Yildirim, Hamza Pehlivan, Bahri Batuhan Bilecen, Aysegul Dundar
Abstract要約: 近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
参考スコア（独自算出の注目度）: 4.234367850767171
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent inversion methods have shown that real images can be inverted into StyleGAN's latent space and numerous edits can be achieved on those images thanks to the semantically rich feature representations of well-trained GAN models. However, extensive research has also shown that image inversion is challenging due to the trade-off between high-fidelity reconstruction and editability. In this paper, we tackle an even more difficult task, inverting erased images into GAN's latent space for realistic inpaintings and editings. Furthermore, by augmenting inverted latent codes with different latent samples, we achieve diverse inpaintings. Specifically, we propose to learn an encoder and mixing network to combine encoded features from erased images with StyleGAN's mapped features from random samples. To encourage the mixing network to utilize both inputs, we train the networks with generated data via a novel set-up. We also utilize higher-rate features to prevent color inconsistencies between the inpainted and unerased parts. We run extensive experiments and compare our method with state-of-the-art inversion and inpainting methods. Qualitative metrics and visual comparisons show significant improvements.
Abstract（参考訳）: 近年の逆転法により、実画像はStyleGANの潜在空間に逆転することができ、よく訓練されたGANモデルのセマンティックにリッチな特徴表現により、これらの画像に対して多数の編集が可能であることが示されている。しかし,高忠実度復元と編集性とのトレードオフにより,画像の逆転が困難であることも広く研究されている。本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。さらに,逆潜時符号を異なる潜時サンプルで拡張することにより,多彩な塗布を実現する。具体的には,消去画像からのエンコード特徴とランダムサンプルからのstyleganのマッピング特徴を組み合わせたエンコーダとミキシングネットワークの学習を提案する。ミキシングネットワークが両方の入力を利用するように促すため、新しい設定で生成されたデータを用いてネットワークを訓練する。また,塗布部と消色部の色の不整合を防止するために,高次の特徴を利用する。広範な実験を行い,最先端のインバージョン法とインパインティング法との比較を行った。質的指標と視覚的比較は大幅な改善を示している。

関連論文リスト

Warping the Residuals for Image Editing with StyleGAN [5.733811543584874]
StyleGANモデルは、意味論的に解釈可能な潜在組織を通して編集機能を示す。 StyleGANの潜伏空間に画像を反転させる多くの研究が提案されている。本稿では,高速遅延特徴を抽出し,フロー推定モジュールを含む新しい画像インバージョンアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-12-18T18:24:18Z)
In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文参考訳（メタデータ） (2023-09-25T08:42:06Z)
StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN [4.7590051176368915]
実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
論文参考訳（メタデータ） (2022-12-29T16:14:09Z)
High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
論文参考訳（メタデータ） (2022-08-25T03:39:24Z)
V-LinkNet: Learning Contextual Inpainting Across Latent Space of Generative Adversarial Network [7.5089719291325325]
V-LinkNetクロススペース学習戦略ネットワークを提案する。同一面と同一面の異なる面と同一面の異なる面の塗装性能を比較した。この結果は,CelebA-HQで標準プロトコルを用いて評価した場合に,技術状況を上回るものとなる。
論文参考訳（メタデータ） (2022-01-02T09:14:23Z)
Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文参考訳（メタデータ） (2021-04-29T17:58:35Z)
In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロパッチをレンダリングします。
論文参考訳（メタデータ） (2021-04-01T17:59:10Z)
Designing an Encoder for StyleGAN Image Manipulation [38.909059126878354]
最先端の無条件発電機であるStyleGANの潜伏空間について検討する。そこで我々は,StyleGAN潜在空間における歪み依存性トレードオフと歪み知覚トレードオフの存在を同定し,解析する。本稿では,実画像の編集を容易にするための2つの原理に基づくエンコーダを提案する。
論文参考訳（メタデータ） (2021-02-04T17:52:38Z)
Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
論文参考訳（メタデータ） (2020-10-29T14:46:05Z)
Swapping Autoencoder for Deep Image Manipulation [94.33114146172606]
画像操作に特化して設計されたディープモデルであるSwapping Autoencoderを提案する。キーとなるアイデアは、2つの独立したコンポーネントで画像をエンコードし、交換された組み合わせをリアルなイメージにマップするように強制することだ。複数のデータセットの実験により、我々のモデルはより良い結果が得られ、最近の生成モデルと比較してかなり効率が良いことが示されている。
論文参考訳（メタデータ） (2020-07-01T17:59:57Z)
In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。