論文の概要: GAN Inversion for Image Editing via Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2211.12123v2
- Date: Wed, 29 May 2024 06:37:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 02:51:07.868549
- Title: GAN Inversion for Image Editing via Unsupervised Domain Adaptation
- Title(参考訳): 教師なし領域適応による画像編集のためのGANインバージョン
- Authors: Siyu Xing, Chen Gong, Hewei Guo, Xiao-Yu Zhang, Xinwen Hou, Yu Liu,
- Abstract要約: 本稿では,UNDA(Unsupervised Domain Adaptation)のインバージョンプロセス,すなわちUDA-inversionを提案し,HQおよびLQ画像の効果的なインバージョンと編集を行う。
UDA-InversionはFFHQデータセットで22.14のPSNRを実現し、教師付きメソッドと互換性がある。
- 参考スコア(独自算出の注目度): 18.328386420520978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing GAN inversion methods work brilliantly in reconstructing high-quality (HQ) images while struggling with more common low-quality (LQ) inputs in practical application. To address this issue, we propose Unsupervised Domain Adaptation (UDA) in the inversion process, namely UDA-inversion, for effective inversion and editing of both HQ and LQ images. Regarding unpaired HQ images as the source domain and LQ images as the unlabeled target domain, we introduce a theoretical guarantee: loss value in the target domain is upper-bounded by loss in the source domain and a novel discrepancy function measuring the difference between two domains. Following that, we can only minimize this upper bound to obtain accurate latent codes for HQ and LQ images. Thus, constructive representations of HQ images can be spontaneously learned and transformed into LQ images without supervision. UDA-Inversion achieves a better PSNR of 22.14 on FFHQ dataset and performs comparably to supervised methods.
- Abstract(参考訳): 既存のGANインバージョン手法は、より一般的な低品質(LQ)入力に苦しむ一方で、高品質(HQ)イメージの再構築に優れる。
この問題に対処するために、HQおよびLQ画像の効果的な逆変換と編集のために、Unsupervised Domain Adaptation (UDA) をインバージョンプロセス、すなわち UDA-inversion として提案する。
未ペアのHQイメージをソースドメインとして、LQイメージを未ラベルのターゲットドメインとして、対象ドメインの損失値がソースドメインの損失によって上界となるという理論的保証と、2つのドメイン間の差を測定する新しい差分関数を導入する。
その後、この上限を最小化してHQおよびLQ画像の正確な潜時符号を得る。
これにより、HQ画像の構成的表現を自然に学習し、監督なしでLQ画像に変換することができる。
UDA-InversionはFFHQデータセットで22.14のPSNRを実現し、教師付きメソッドと互換性がある。
関連論文リスト
- In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - Dual Associated Encoder for Face Restoration [68.49568459672076]
低品質(LQ)画像から顔の詳細を復元するために,DAEFRという新しいデュアルブランチフレームワークを提案する。
提案手法では,LQ入力から重要な情報を抽出する補助的なLQ分岐を導入する。
合成と実世界の両方のデータセットに対するDAEFRの有効性を評価する。
論文 参考訳(メタデータ) (2023-08-14T17:58:33Z) - HQG-Net: Unpaired Medical Image Enhancement with High-Quality Guidance [45.84780456554191]
Unpaired Medical Image Enhancement (UMIE)は、低品質(LQ)の医用画像から高品質(HQ)の画像に変換することを目的としている。
本稿では, HQ cues を直接 LQ エンハンスメントプロセスに符号化することで, 既存の手法の制限を回避する新しい UMIE 手法を提案する。
我々は、生成したHQイメージがHQドメインに落下することを確実にするために、差別者と反対に拡張ネットワークを訓練する。
論文 参考訳(メタデータ) (2023-07-15T15:26:25Z) - I2F: A Unified Image-to-Feature Approach for Domain Adaptive Semantic
Segmentation [55.633859439375044]
意味的セグメンテーションのための教師なしドメイン適応(UDA)は、重いアノテーション作業から人々を解放する有望なタスクである。
この問題に対処する主要なアイデアは、画像レベルと特徴レベルの両方を共同で実行することである。
本稿では,画像レベルと特徴レベルを統一したセマンティックセグメンテーションのための新しいUDAパイプラインを提案する。
論文 参考訳(メタデータ) (2023-01-03T15:19:48Z) - Refign: Align and Refine for Adaptation of Semantic Segmentation to
Adverse Conditions [78.71745819446176]
Refignは、ドメイン間の通信を利用する自己学習ベースのUDAメソッドへの汎用的な拡張である。
Refign は,(1) 不確実性を認識した高密度マッチングネットワークを用いて,正常条件画像と対応する悪条件画像とを整列させ,(2) 適応ラベル補正機構を用いて正常予測で悪条件予測を精査する。
このアプローチでは、追加のトレーニングパラメータや、トレーニングのみの計算オーバーヘッドの最小化は導入されず、任意の自己学習ベースのUDAメソッドを改善するためにドロップイン拡張として使用することができる。
論文 参考訳(メタデータ) (2022-07-14T11:30:38Z) - DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic
Segmentation [97.74059510314554]
セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。
既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。
本稿では,新しいDual Soft-Paste (DSP)法を提案する。
論文 参考訳(メタデータ) (2021-07-20T16:22:40Z) - Super-Resolving Cross-Domain Face Miniatures by Peeking at One-Shot
Exemplar [42.78574493628936]
DAP-FSRネットワークというドメイン対応ピラミッド型顔超解像ネットワークを開発した。
DAP-FSRは、ターゲットドメイン内の一対の高分解能(HR)とLRの例のみを利用して、ターゲットドメインからLR面を超解決する最初の試みです。
遅延表現とデコーダを反復的に更新することで、DAP-FSRはターゲットドメインに適応する。
論文 参考訳(メタデータ) (2021-03-16T05:47:26Z) - Image Inpainting with Learnable Feature Imputation [8.293345261434943]
正規畳み込み層は、未知の領域にフィルターを適用するのと同じ方法で、塗装された画像の視覚的アーティファクトを引き起こす。
本稿では,欠落した入力値の畳み込みに対する(階層的な)特徴計算を提案する。
我々はCelebA-HQとPlaces2を比較し,そのモデルを検証する。
論文 参考訳(メタデータ) (2020-11-02T16:05:32Z) - In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。
既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。
本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文 参考訳(メタデータ) (2020-03-31T18:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。