論文の概要: Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing

• arxiv url: http://arxiv.org/abs/2206.08357v1
• Date: Thu, 16 Jun 2022 17:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 15:05:20.861130
• Title: Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing
• Title（参考訳）: GANインバージョンと編集のための空間適応型多層膜選択
• Authors: Gaurav Parmar, Yijun Li, Jingwan Lu, Richard Zhang, Jun-Yan Zhu, Krishna Kumar Singh
• Abstract要約: 本稿では,StyleGAN2 など,GAN の潜在空間における複雑な画像を反転・編集する手法を提案する。 我々のキーとなる考え方は、画像の難易度に逆過程を空間的に適応させることで、レイヤーの集合による逆転を探索することである。
• 参考スコア（独自算出の注目度）: 57.46189236379433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing GAN inversion and editing methods work well for aligned objects with a clean background, such as portraits and animal faces, but often struggle for more difficult categories with complex scene layouts and object occlusions, such as cars, animals, and outdoor images. We propose a new method to invert and edit such complex images in the latent space of GANs, such as StyleGAN2. Our key idea is to explore inversion with a collection of layers, spatially adapting the inversion process to the difficulty of the image. We learn to predict the "invertibility" of different image segments and project each segment into a latent layer. Easier regions can be inverted into an earlier layer in the generator's latent space, while more challenging regions can be inverted into a later feature space. Experiments show that our method obtains better inversion results compared to the recent approaches on complex categories, while maintaining downstream editability. Please refer to our project page at https://www.cs.cmu.edu/~SAMInversion.
• Abstract（参考訳）: 既存のganインバージョンや編集手法は、ポートレートや動物の顔などのクリーンな背景を持つオブジェクトのアライメントには適しているが、複雑なシーンレイアウトや車、動物、屋外画像といったオブジェクトのオクルージョンといった複雑なカテゴリでは苦労することが多い。 そこで本研究では,ganの潜伏空間におけるstylegan2のような複雑な画像の反転と編集を行う新しい手法を提案する。 我々のキーとなる考え方は、画像の難易度に逆過程を空間的に適応させることで、レイヤーの集合による逆転を探索することである。 我々は、異なる画像セグメントの「可逆性」を予測し、各セグメントを潜在層に投影することを学ぶ。 より容易な領域はジェネレータの潜在空間の以前の層に逆転し、より困難な領域は後の特徴空間に逆転することができる。 実験の結果, 下流の編集性を維持しつつ, 複雑なカテゴリに対する最近のアプローチと比較して, より良い逆変換結果が得られることがわかった。 プロジェクトのページはhttps://www.cs.cmu.edu/~SAMInversionを参照してください。

関連論文リスト

• Move Anything with Layered Scene Diffusion [77.45870343845492]
  拡散サンプリング過程におけるシーン表現を最適化するために,SceneDiffusionを提案する。 我々の重要な洞察は、異なる空間配置のシーンレンダリングを共同でデノベートすることで、空間的ゆがみを得ることができることである。 生成したシーンは、移動、再サイズ、クローニング、レイヤーワイドな外観編集操作を含む、幅広い空間編集操作をサポートする。
  論文  参考訳（メタデータ） (2024-04-10T17:28:16Z)
• MULAN: A Multi Layer Annotated Dataset for Controllable Text-to-Image Generation [54.64194935409982]
  44K MUlti-Layer-wise RGBA 分解からなる新しいデータセット MuLAn を紹介する。 MuLAnは、高品質な画像のインスタンス分解と空間情報を提供する最初のフォトリアリスティックなリソースである。 我々は,新しい生成・編集技術,特にレイヤワイドソリューションの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-04-03T14:58:00Z)
• Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
  近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。 本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
  論文  参考訳（メタデータ） (2023-07-27T17:41:36Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Overparameterization Improves StyleGAN Inversion [66.8300251627992]
  既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
  論文  参考訳（メタデータ） (2022-05-12T18:42:43Z)
• Barbershop: GAN-based Image Compositing using Segmentation Masks [40.85660781133709]
  本稿では,GAN-インバージョンに基づく画像ブレンディング,特にヘアスタイル転写問題に対する新しい解を提案する。 ユーザによる調査では,ブレンディングソリューションが95%以上であるのに対して,ユーザによる評価では,現在の技術よりも大きな改善が見られた。
  論文  参考訳（メタデータ） (2021-06-02T23:20:43Z)
• Designing an Encoder for StyleGAN Image Manipulation [38.909059126878354]
  最先端の無条件発電機であるStyleGANの潜伏空間について検討する。 そこで我々は,StyleGAN潜在空間における歪み依存性トレードオフと歪み知覚トレードオフの存在を同定し,解析する。 本稿では,実画像の編集を容易にするための2つの原理に基づくエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-02-04T17:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。