論文の概要: Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing
- arxiv url: http://arxiv.org/abs/2206.08357v1
- Date: Thu, 16 Jun 2022 17:57:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 15:05:20.861130
- Title: Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing
- Title(参考訳): GANインバージョンと編集のための空間適応型多層膜選択
- Authors: Gaurav Parmar, Yijun Li, Jingwan Lu, Richard Zhang, Jun-Yan Zhu,
Krishna Kumar Singh
- Abstract要約: 本稿では,StyleGAN2 など,GAN の潜在空間における複雑な画像を反転・編集する手法を提案する。
我々のキーとなる考え方は、画像の難易度に逆過程を空間的に適応させることで、レイヤーの集合による逆転を探索することである。
- 参考スコア(独自算出の注目度): 57.46189236379433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing GAN inversion and editing methods work well for aligned objects with
a clean background, such as portraits and animal faces, but often struggle for
more difficult categories with complex scene layouts and object occlusions,
such as cars, animals, and outdoor images. We propose a new method to invert
and edit such complex images in the latent space of GANs, such as StyleGAN2.
Our key idea is to explore inversion with a collection of layers, spatially
adapting the inversion process to the difficulty of the image. We learn to
predict the "invertibility" of different image segments and project each
segment into a latent layer. Easier regions can be inverted into an earlier
layer in the generator's latent space, while more challenging regions can be
inverted into a later feature space. Experiments show that our method obtains
better inversion results compared to the recent approaches on complex
categories, while maintaining downstream editability. Please refer to our
project page at https://www.cs.cmu.edu/~SAMInversion.
- Abstract(参考訳): 既存のganインバージョンや編集手法は、ポートレートや動物の顔などのクリーンな背景を持つオブジェクトのアライメントには適しているが、複雑なシーンレイアウトや車、動物、屋外画像といったオブジェクトのオクルージョンといった複雑なカテゴリでは苦労することが多い。
そこで本研究では,ganの潜伏空間におけるstylegan2のような複雑な画像の反転と編集を行う新しい手法を提案する。
我々のキーとなる考え方は、画像の難易度に逆過程を空間的に適応させることで、レイヤーの集合による逆転を探索することである。
我々は、異なる画像セグメントの「可逆性」を予測し、各セグメントを潜在層に投影することを学ぶ。
より容易な領域はジェネレータの潜在空間の以前の層に逆転し、より困難な領域は後の特徴空間に逆転することができる。
実験の結果, 下流の編集性を維持しつつ, 複雑なカテゴリに対する最近のアプローチと比較して, より良い逆変換結果が得られることがわかった。
プロジェクトのページはhttps://www.cs.cmu.edu/~SAMInversionを参照してください。
関連論文リスト
- Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。
本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
論文 参考訳(メタデータ) (2023-07-27T17:41:36Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳(メタデータ) (2023-02-16T10:40:55Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳(メタデータ) (2023-01-20T07:36:29Z) - IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering
in Indoor Scenes [99.76677232870192]
我々は、高密度な視覚変換器であるIRISformerが、逆レンダリングに必要なシングルタスクとマルチタスクの推論の両方で優れていることを示す。
具体的には,屋内シーンの単一画像から深度,正規度,空間変化アルベド,粗さ,照明を同時に推定するトランスフォーマーアーキテクチャを提案する。
ベンチマークデータセットを用いた評価では、上記の各タスクについて最先端の結果が示され、オブジェクト挿入や物質編集などの応用を、制約のない1つの実画像で実現する。
論文 参考訳(メタデータ) (2022-06-16T19:50:55Z) - Overparameterization Improves StyleGAN Inversion [66.8300251627992]
既存の反転アプローチは、有望だが不完全な結果が得られる。
これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。
われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
論文 参考訳(メタデータ) (2022-05-12T18:42:43Z) - Barbershop: GAN-based Image Compositing using Segmentation Masks [40.85660781133709]
本稿では,GAN-インバージョンに基づく画像ブレンディング,特にヘアスタイル転写問題に対する新しい解を提案する。
ユーザによる調査では,ブレンディングソリューションが95%以上であるのに対して,ユーザによる評価では,現在の技術よりも大きな改善が見られた。
論文 参考訳(メタデータ) (2021-06-02T23:20:43Z) - Unsupervised Image Transformation Learning via Generative Adversarial
Networks [40.84518581293321]
GAN(Generative Adversarial Networks)を用いた画像集合から基底変換を学習して画像変換問題を研究する。
本稿では,生成元と識別器が共有する変換空間に画像を投影する,教師なし学習フレームワークTrGANを提案する。
論文 参考訳(メタデータ) (2021-03-13T17:08:19Z) - Designing an Encoder for StyleGAN Image Manipulation [38.909059126878354]
最先端の無条件発電機であるStyleGANの潜伏空間について検討する。
そこで我々は,StyleGAN潜在空間における歪み依存性トレードオフと歪み知覚トレードオフの存在を同定し,解析する。
本稿では,実画像の編集を容易にするための2つの原理に基づくエンコーダを提案する。
論文 参考訳(メタデータ) (2021-02-04T17:52:38Z) - In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。
既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。
本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文 参考訳(メタデータ) (2020-03-31T18:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。