論文の概要: What Decreases Editing Capability? Domain-Specific Hybrid Refinement for
Improved GAN Inversion
- arxiv url: http://arxiv.org/abs/2301.12141v1
- Date: Sat, 28 Jan 2023 09:31:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 18:46:51.856770
- Title: What Decreases Editing Capability? Domain-Specific Hybrid Refinement for
Improved GAN Inversion
- Title(参考訳): 編集能力の低下は?
改良型GANインバージョンのためのドメイン特化ハイブリッドリファインメント
- Authors: Pu Cao, Lu Yang, Dongxu Liu, Zhiwei Liu, Shan Li, Qing Song
- Abstract要約: インバージョン法は、埋め込み潜時符号のインバージョンと編集結果を洗練するために、ジェネレータに高次情報を追加することに重点を置いている。
重要な問題は、インバージョン結果の精細化であり、編集能力の劣化を避けることである。
本稿では,2つの主流改良技術の利点と欠点を生かしたドメイン特化ハイブリッドリファインメントについて紹介する。
- 参考スコア(独自算出の注目度): 11.95478794247941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, inversion methods have focused on additional high-rate information
in the generator (e.g., weights or intermediate features) to refine inversion
and editing results from embedded latent codes. Although these techniques gain
reasonable improvement in reconstruction, they decrease editing capability,
especially on complex images (e.g., containing occlusions, detailed
backgrounds, and artifacts). A vital crux is refining inversion results,
avoiding editing capability degradation. To tackle this problem, we introduce
Domain-Specific Hybrid Refinement (DHR), which draws on the advantages and
disadvantages of two mainstream refinement techniques to maintain editing
ability with fidelity improvement. Specifically, we first propose
Domain-Specific Segmentation to segment images into two parts: in-domain and
out-of-domain parts. The refinement process aims to maintain the editability
for in-domain areas and improve two domains' fidelity. We refine these two
parts by weight modulation and feature modulation, which we call Hybrid
Modulation Refinement. Our proposed method is compatible with all latent code
embedding methods. Extension experiments demonstrate that our approach achieves
state-of-the-art in real image inversion and editing. Code is available at
https://github.com/caopulan/Domain-Specific_Hybrid_Refinement_Inversion.
- Abstract(参考訳): 近年、インバージョン手法は、組み込まれた潜在コードからインバージョンや編集結果を洗練するために、ジェネレータ(例えば重み付けや中間機能)に高次情報を追加することに重点を置いている。
これらの技術は再構築において合理的な改善をもたらすが、特に複雑な画像(例えば、閉塞物、詳細な背景、アーティファクトを含む)の編集能力は低下する。
重要なcruxは、編集能力の低下を避けるために、反転結果の精細化である。
この問題に対処するため,本研究では2つの主流改良手法の利点とデメリットを活かしたDHR(Domain-Specific Hybrid Refinement)を導入する。
具体的には、まず、ドメイン内部分とドメイン外部分の2つの部分に分割するドメイン固有のセグメンテーションを提案する。
リファインメントプロセスは、ドメイン内領域の編集性を維持し、2つのドメインの忠実性を改善することを目的としている。
これら2つの部分を重み変調と特徴変調により精錬し、これをハイブリッド変調精錬と呼ぶ。
提案手法は,すべての潜在コード組込み手法と互換性がある。
拡張実験により,本手法は実画像の反転と編集において最先端の成果が得られることを示す。
コードはhttps://github.com/caopulan/domain-specific_hybrid_refinement_inversionで入手できる。
関連論文リスト
- Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion
and Image Attribute Editing [36.01737879983636]
GANベースの画像編集は、まずGAN Inversionを利用して、実際の画像をGANの潜時空間に投影し、対応する潜時符号を操作する。
近年のインバージョン法は, 画像の保存性を高めるために, 新たな高ビット特徴を主に利用している。
編集中、既存の作業は失われた詳細を正確に補完することができず、編集性に欠ける。
論文 参考訳(メタデータ) (2024-02-22T09:28:47Z) - Noise Map Guidance: Inversion with Spatial Context for Real Image
Editing [23.513950664274997]
テキスト誘導拡散モデルは画像合成において一般的なツールとなり、高品質で多様な画像を生成することで知られている。
実際の画像の編集への応用は、復元品質を劣化させ、その後編集の忠実度に影響を及ぼすため、しばしばハードルに直面する。
実画像編集に適した空間文脈に富んだ逆解析手法であるノイズマップガイダンス(NMG)を提案する。
論文 参考訳(メタデータ) (2024-02-07T07:16:12Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing [20.39792009151017]
StyleGANは、セマンティックリッチな潜在スタイル空間を操作することで、生成した画像の柔軟で妥当な編集を可能にする。
実際の画像をその潜在空間に投影することは、反転品質と編集性の間に固有のトレードオフに遭遇する。
本稿では,2つの異なるネットワークをそれぞれ編集と再構築に用い,新しい2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-31T04:38:42Z) - LSAP: Rethinking Inversion Fidelity, Perception and Editability in GAN
Latent Space [42.56147568941768]
本稿では,正規化スタイル空間と$mathcalSN$ Cosine Distanceを導入し,逆法の不整合を計測する。
提案するSNCDは,エンコーダ方式と最適化方式の両方で最適化可能であり,一様解を実現することができる。
論文 参考訳(メタデータ) (2022-09-26T14:55:21Z) - Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and
Editability [76.6724135757723]
GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。
GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。
本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
論文 参考訳(メタデータ) (2022-07-19T16:10:16Z) - Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。
生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。
また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
論文 参考訳(メタデータ) (2022-07-17T10:34:58Z) - TransEditor: Transformer-Based Dual-Space GAN for Highly Controllable
Facial Editing [110.82128064489237]
本稿では、より制御しやすい編集を実現するために、デュアルスペースGANにおけるインタラクションを強化する新しいトランスフォーマーベースのフレームワークであるTransEditorを提案する。
画像品質と編集能力において提案するフレームワークの優位性を示す実験により,高い制御性を有する顔編集におけるTransEditorの有効性が示唆された。
論文 参考訳(メタデータ) (2022-03-31T17:58:13Z) - Exploring Sequence Feature Alignment for Domain Adaptive Detection
Transformers [141.70707071815653]
本稿では,検出変圧器の適応に特化して設計された新しいシーケンス特徴アライメント(SFA)法を提案する。
SFAはドメインクエリベースの機能アライメント(DQFA)モジュールとトークンワイド機能アライメント(TDA)モジュールで構成される。
3つの挑戦的なベンチマーク実験により、SFAは最先端のドメイン適応オブジェクト検出方法より優れていることが示された。
論文 参考訳(メタデータ) (2021-07-27T07:17:12Z) - In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。
既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。
本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文 参考訳(メタデータ) (2020-03-31T18:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。