論文の概要: WaGI : Wavelet-based GAN Inversion for Preserving High-frequency Image Details

• arxiv url: http://arxiv.org/abs/2210.09655v1
• Date: Tue, 18 Oct 2022 07:48:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 14:22:04.245116
• Title: WaGI : Wavelet-based GAN Inversion for Preserving High-frequency Image Details
• Title（参考訳）: WaGI : ウェーブレットに基づく高頻度画像保存のためのGANインバージョン
• Authors: Seung-Jun Moon, Chaewon Kim, Gyeong-Moon Park
• Abstract要約: 本稿では,周波数特性を明示的に処理できる新しいGAN逆変換モデルWaGIを提案する。 WaGIは、既存の最先端のGANインバージョンモデルと比較して、インバージョンと編集の両方で優れた結果を示している。
• 参考スコア（独自算出の注目度）: 7.541357996797061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent GAN inversion models focus on preserving image-specific details through various methods, e.g., generator tuning or feature mixing. While those are helpful for preserving details compared to a naiive low-rate latent inversion, they still fail to maintain high-frequency features precisely. In this paper, we point out that the existing GAN inversion models have inherent limitations in both structural and training aspects, which preclude the delicate reconstruction of high-frequency features. Especially, we prove that the widely-used loss term in GAN inversion, i.e., L2, is biased to reconstruct low-frequency features mainly. To overcome this problem, we propose a novel GAN inversion model, coined WaGI, which enables to handle high-frequency features explicitly, by using a novel wavelet-based loss term and a newly proposed wavelet fusion scheme. To the best of our knowledge, WaGI is the first attempt to interpret GAN inversion in the frequency domain. We demonstrate that WaGI shows outstanding results on both inversion and editing, compared to the existing state-of-the-art GAN inversion models. Especially, WaGI robustly preserves high-frequency features of images even in the editing scenario. We will release our code with the pre-trained model after the review.
• Abstract（参考訳）: 最近のGANインバージョンモデルは、ジェネレータチューニングや機能混合など、様々な方法で画像固有の詳細を保存することに重点を置いている。 これらは、内在的な低レート潜時反転と比較して詳細を保存するのに役立つが、高い周波数特性を正確に維持することができない。 本稿では,既存のGANインバージョンモデルが構造面と訓練面の両方に固有の制約があり,高周波特性の微妙な再構成を妨げていることを指摘する。 特に,GANインバージョンにおける損失項,すなわちL2は,主に低周波特性の再構成に偏っていることを示す。 この問題を解決するために,新しいウェーブレットベース損失項と新たに提案されたウェーブレット融合方式を用いて,周波数特性を明示的に処理できる新しいGANインバージョンモデルWaGIを提案する。 我々の知る限り、WAGIは周波数領域におけるGAN反転を解釈する最初の試みである。 従来のGANインバージョンモデルと比較して,WAGIはインバージョンと編集の両方において優れた結果を示す。 特に、WAGIは編集シナリオにおいても、画像の高周波特性を強く保存する。 レビューの後、トレーニング済みのモデルでコードをリリースします。

関連論文リスト

• Local Implicit Wavelet Transformer for Arbitrary-Scale Super-Resolution [15.610136214020947]
  暗黙の神経表現は、最近、画像の任意のスケールの超解像(SR)において有望な可能性を証明している。 既存のほとんどの手法は、クエリされた座標と近くの特徴のアンサンブルに基づいて、SR画像中のピクセルを予測する。 本稿では,高周波テクスチャの再現性を高めるために,LIWT(Local Implicit Wavelet Transformer)を提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:21:14Z)
• HiFi Tuner: High-Fidelity Subject-Driven Fine-Tuning for Diffusion Models [56.112302700630806]
  我々は、パーソナライズされた画像生成におけるオブジェクトの外観保存を強化するために、HiFi Tunerという革新的なアルゴリズムを導入する。 主要な機能強化には、マスクガイダンスの利用、新しいパラメータ正規化手法、ステップワイドな主題表現の導入などがある。 提案手法を,テキスト操作による画像中の被写体置換という,新しい画像編集タスクに拡張する。
  論文  参考訳（メタデータ） (2023-11-30T02:33:29Z)
• Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image Denoising [16.43285056788183]
  再構成・生成拡散モデル(Reconstruct-and-Generate Diffusion Model, RnG)と呼ばれる新しい手法を提案する。 提案手法は, 再構成型復調ネットワークを利用して, 基礎となるクリーン信号の大半を復元する。 拡散アルゴリズムを用いて残留する高周波の詳細を生成し、視覚的品質を向上させる。
  論文  参考訳（メタデータ） (2023-09-19T16:01:20Z)
• Stage-by-stage Wavelet Optimization Refinement Diffusion Model for Sparse-View CT Reconstruction [14.037398189132468]
  本稿では,Sparse-view CT再構成のためのSWORD(Stage-by-stage Optimization Refinement Diffusion)モデルを提案する。 具体的には、低周波および高周波生成モデルを統合する統一的な数学的モデルを構築し、最適化手順で解を実現する。 提案手法は,低周波発生,高周波高精細化,領域変換の3段階を含む,確立された最適化理論に根ざした。
  論文  参考訳（メタデータ） (2023-08-30T10:48:53Z)
• Multi-stage image denoising with the wavelet transform [125.2251438120701]
  深部畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、正確な構造情報を自動マイニングすることで、画像の復調に使用される。 動的畳み込みブロック(DCB)、2つのカスケードウェーブレット変換および拡張ブロック(WEB)、残留ブロック(RB)の3段階を経由した、MWDCNNによるCNNの多段階化を提案する。
  論文  参考訳（メタデータ） (2022-09-26T03:28:23Z)
• Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
  我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。 我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。 我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
  論文  参考訳（メタデータ） (2022-03-29T07:56:55Z)
• FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete Cosine Transform [16.439669339293747]
  単一画像超解像(SISR)は低分解能(LR)入力から高分解能(HR)出力を得ることを目的とした不適切な問題である。 高ピーク信号-雑音比(PSNR)の結果にもかかわらず、モデルが望まれる高周波の詳細を正しく付加するかどうかを判断することは困難である。 本稿では、周波数領域の観点から直感的なパイプラインであるFreqNetを提案し、この問題を解決する。
  論文  参考訳（メタデータ） (2021-11-21T11:49:12Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)
• Progressive Training of Multi-level Wavelet Residual Networks for Image Denoising [80.10533234415237]
  本稿では,マルチレベルウェーブレット残差ネットワーク(MWRN)アーキテクチャと,画像復調性能向上のためのプログレッシブトレーニング手法を提案する。 人工ノイズ画像と実世界のノイズ画像の両方で実験したところ、PT-MWRNは最先端のノイズ評価法に対して良好に機能することがわかった。
  論文  参考訳（メタデータ） (2020-10-23T14:14:00Z)
• Wavelet Integrated CNNs for Noise-Robust Image Classification [51.18193090255933]
  我々は、離散ウェーブレット変換(DWT)により、最大プール、ストライド畳み込み、平均プールを置き換えることでCNNを強化する。 VGG、ResNets、DenseNetのウェーブレット統合バージョンであるWaveCNetsは、バニラバージョンよりも精度が高く、ノイズ・ロバスト性も向上している。
  論文  参考訳（メタデータ） (2020-05-07T09:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。