論文の概要: WINE: Wavelet-Guided GAN Inversion and Editing for High-Fidelity Refinement
- arxiv url: http://arxiv.org/abs/2210.09655v2
- Date: Tue, 14 Jan 2025 14:22:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:25:59.712889
- Title: WINE: Wavelet-Guided GAN Inversion and Editing for High-Fidelity Refinement
- Title(参考訳): WINE:ウェーブレット型GANインバージョンと高精細化のための編集
- Authors: Chaewon Kim, Seung-Jun Moon, Gyeong-Moon Park,
- Abstract要約: WINEはウェーブレット誘導GAN反転aNd編集モデルであり、ウェーブレット係数を介して高周波情報を転送する。
WINEは、編集性と復元品質の微妙なバランスを保ち、既存の最先端のGANインバージョンモデルより優れていることを示す。
- 参考スコア(独自算出の注目度): 9.517232831394459
- License:
- Abstract: Recent advanced GAN inversion models aim to convey high-fidelity information from original images to generators through methods using generator tuning or high-dimensional feature learning. Despite these efforts, accurately reconstructing image-specific details remains as a challenge due to the inherent limitations both in terms of training and structural aspects, leading to a bias towards low-frequency information. In this paper, we look into the widely used pixel loss in GAN inversion, revealing its predominant focus on the reconstruction of low-frequency features. We then propose WINE, a Wavelet-guided GAN Inversion aNd Editing model, which transfers the high-frequency information through wavelet coefficients via newly proposed wavelet loss and wavelet fusion scheme. Notably, WINE is the first attempt to interpret GAN inversion in the frequency domain. Our experimental results showcase the precision of WINE in preserving high-frequency details and enhancing image quality. Even in editing scenarios, WINE outperforms existing state-of-the-art GAN inversion models with a fine balance between editability and reconstruction quality.
- Abstract(参考訳): 近年のGANインバージョンモデルは、ジェネレータチューニングや高次元特徴学習を用いて、原画像からの高忠実度情報をジェネレータに伝達することを目的としている。
これらの努力にもかかわらず、トレーニングと構造面の両方に固有の制限があるため、画像固有の詳細を正確に再構築することは、低周波情報へのバイアスをもたらす。
本稿では,GANインバージョンにおける広範に用いられている画素損失を考察し,低周波特徴の再構成に主眼を置いていることを示す。
次に、ウェーブレット誘導GAN反転aNd編集モデルであるWINEを提案し、新たに提案されたウェーブレット損失とウェーブレット融合スキームを介してウェーブレット係数を介して高周波情報を転送する。
特に、WINE は周波数領域における GAN の反転を解釈する最初の試みである。
実験結果から,WINEの高精度な高周波数情報保存と画質向上効果が示された。
編集シナリオにおいても、WINEは既存の最先端のGANインバージョンモデルよりも、編集可能性と再構築品質のバランスが良くなっている。
関連論文リスト
- Local Implicit Wavelet Transformer for Arbitrary-Scale Super-Resolution [15.610136214020947]
暗黙の神経表現は、最近、画像の任意のスケールの超解像(SR)において有望な可能性を証明している。
既存のほとんどの手法は、クエリされた座標と近くの特徴のアンサンブルに基づいて、SR画像中のピクセルを予測する。
本稿では,高周波テクスチャの再現性を高めるために,LIWT(Local Implicit Wavelet Transformer)を提案する。
論文 参考訳(メタデータ) (2024-11-10T12:21:14Z) - HiFi Tuner: High-Fidelity Subject-Driven Fine-Tuning for Diffusion
Models [56.112302700630806]
我々は、パーソナライズされた画像生成におけるオブジェクトの外観保存を強化するために、HiFi Tunerという革新的なアルゴリズムを導入する。
主要な機能強化には、マスクガイダンスの利用、新しいパラメータ正規化手法、ステップワイドな主題表現の導入などがある。
提案手法を,テキスト操作による画像中の被写体置換という,新しい画像編集タスクに拡張する。
論文 参考訳(メタデータ) (2023-11-30T02:33:29Z) - Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image
Denoising [16.43285056788183]
再構成・生成拡散モデル(Reconstruct-and-Generate Diffusion Model, RnG)と呼ばれる新しい手法を提案する。
提案手法は, 再構成型復調ネットワークを利用して, 基礎となるクリーン信号の大半を復元する。
拡散アルゴリズムを用いて残留する高周波の詳細を生成し、視覚的品質を向上させる。
論文 参考訳(メタデータ) (2023-09-19T16:01:20Z) - Stage-by-stage Wavelet Optimization Refinement Diffusion Model for
Sparse-View CT Reconstruction [14.037398189132468]
本稿では,Sparse-view CT再構成のためのSWORD(Stage-by-stage Optimization Refinement Diffusion)モデルを提案する。
具体的には、低周波および高周波生成モデルを統合する統一的な数学的モデルを構築し、最適化手順で解を実現する。
提案手法は,低周波発生,高周波高精細化,領域変換の3段階を含む,確立された最適化理論に根ざした。
論文 参考訳(メタデータ) (2023-08-30T10:48:53Z) - Multi-stage image denoising with the wavelet transform [125.2251438120701]
深部畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、正確な構造情報を自動マイニングすることで、画像の復調に使用される。
動的畳み込みブロック(DCB)、2つのカスケードウェーブレット変換および拡張ブロック(WEB)、残留ブロック(RB)の3段階を経由した、MWDCNNによるCNNの多段階化を提案する。
論文 参考訳(メタデータ) (2022-09-26T03:28:23Z) - Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。
我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。
我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
論文 参考訳(メタデータ) (2022-03-29T07:56:55Z) - FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete
Cosine Transform [16.439669339293747]
単一画像超解像(SISR)は低分解能(LR)入力から高分解能(HR)出力を得ることを目的とした不適切な問題である。
高ピーク信号-雑音比(PSNR)の結果にもかかわらず、モデルが望まれる高周波の詳細を正しく付加するかどうかを判断することは困難である。
本稿では、周波数領域の観点から直感的なパイプラインであるFreqNetを提案し、この問題を解決する。
論文 参考訳(メタデータ) (2021-11-21T11:49:12Z) - High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。
低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。
高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
論文 参考訳(メタデータ) (2021-09-14T11:23:48Z) - Progressive Training of Multi-level Wavelet Residual Networks for Image
Denoising [80.10533234415237]
本稿では,マルチレベルウェーブレット残差ネットワーク(MWRN)アーキテクチャと,画像復調性能向上のためのプログレッシブトレーニング手法を提案する。
人工ノイズ画像と実世界のノイズ画像の両方で実験したところ、PT-MWRNは最先端のノイズ評価法に対して良好に機能することがわかった。
論文 参考訳(メタデータ) (2020-10-23T14:14:00Z) - Wavelet Integrated CNNs for Noise-Robust Image Classification [51.18193090255933]
我々は、離散ウェーブレット変換(DWT)により、最大プール、ストライド畳み込み、平均プールを置き換えることでCNNを強化する。
VGG、ResNets、DenseNetのウェーブレット統合バージョンであるWaveCNetsは、バニラバージョンよりも精度が高く、ノイズ・ロバスト性も向上している。
論文 参考訳(メタデータ) (2020-05-07T09:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。