論文の概要: Diverse super-resolution with pretrained deep hiererarchical VAEs
- arxiv url: http://arxiv.org/abs/2205.10347v1
- Date: Fri, 20 May 2022 17:57:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 14:27:58.498180
- Title: Diverse super-resolution with pretrained deep hiererarchical VAEs
- Title(参考訳): 事前訓練された深部階層的vaesによる多彩な超解像
- Authors: Jean Prost, Antoine Houdard, Nicolas Papadakis and Andr\'es Almansa
- Abstract要約: 本研究では,VD-VAE (State-of-the Art variational autoencoder, VAE) を再利用することで, 多様な超解像問題に取り組む。
VD-VAEによって学習された階層的潜時表現は、階層の最上部の潜時グループに符号化された画像低周波情報を、階層の最下部の潜時グループによって決定された画像高周波の詳細から自然に分離する。
我々は、低周波情報を符号化するVD-VAE潜在空間のサブセットにおいて、低分解能画像を符号化するエンコーダを訓練する。
- 参考スコア(独自算出の注目度): 4.566180616886624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image super-resolution is a one-to-many problem, but most deep-learning based
methods only provide one single solution to this problem. In this work, we
tackle the problem of diverse super-resolution by reusing VD-VAE, a
state-of-the art variational autoencoder (VAE). We find that the hierarchical
latent representation learned by VD-VAE naturally separates the image
low-frequency information, encoded in the latent groups at the top of the
hierarchy, from the image high-frequency details, determined by the latent
groups at the bottom of the latent hierarchy. Starting from this observation,
we design a super-resolution model exploiting the specific structure of VD-VAE
latent space. Specifically, we train an encoder to encode low-resolution images
in the subset of VD-VAE latent space encoding the low-frequency information,
and we combine this encoder with VD-VAE generative model to sample diverse
super-resolved version of a low-resolution input. We demonstrate the ability of
our method to generate diverse solutions to the super-resolution problem on
face super-resolution with upsampling factors x4, x8, and x16.
- Abstract(参考訳): 画像の超解像は1対多の問題であるが、ほとんどのディープラーニングベースの手法はこの問題に対して1つのソリューションしか提供しない。
本研究では,VD-VAE (State-of-the Art variational autoencoder, VAE) を再利用することで, 多様な超解像問題に取り組む。
VD-VAEによって学習された階層的潜時表現は、階層の最上部の潜時グループに符号化された画像低周波情報を、階層の最下部の潜時グループによって決定された画像高周波の詳細から自然に分離する。
この観測から、VD-VAE潜在空間の特定の構造を利用した超解像モデルの設計を行う。
具体的には、低周波情報を符号化するVD-VAE潜在空間のサブセットに低分解能画像をエンコードするようにエンコーダを訓練し、このエンコーダとVD-VAE生成モデルを組み合わせて、低分解能入力の様々な超解像をサンプリングする。
提案手法は,x4,x8,x16のアップサンプリング係数を用いて,超解像度問題に対する多様な解を生成する能力を示す。
関連論文リスト
- ACDMSR: Accelerated Conditional Diffusion Models for Single Image
Super-Resolution [84.73658185158222]
本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。
提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。
提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
論文 参考訳(メタデータ) (2023-07-03T06:49:04Z) - Solving Linear Inverse Problems Provably via Posterior Sampling with
Latent Diffusion Models [98.95988351420334]
本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。
線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
論文 参考訳(メタデータ) (2023-07-02T17:21:30Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Deep Model-Based Super-Resolution with Non-uniform Blur [1.7188280334580197]
非一様ぼかしを持つ超解像の最先端手法を提案する。
まず,線形化ADMM分割手法に基づく高速なプラグアンドプレイアルゴリズムを提案する。
反復アルゴリズムをひとつのネットワークに展開し、エンドツーエンドでトレーニングします。
論文 参考訳(メタデータ) (2022-04-21T13:57:21Z) - Deep Variational Network Toward Blind Image Restoration [55.33102369856991]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z) - SRFlow: Learning the Super-Resolution Space with Normalizing Flow [176.07982398988747]
超解像度は、与えられた低解像度画像の複数の予測を可能にするため、不適切な問題である。
出力の条件分布を学習できる正規化フローベース超解法SRFlowを提案する。
我々のモデルは、単一損失、すなわち負のログ類似度を用いて、原則的に訓練されている。
論文 参考訳(メタデータ) (2020-06-25T06:34:04Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳(メタデータ) (2020-05-12T09:55:53Z) - Reducing the Representation Error of GAN Image Priors Using the Deep
Decoder [29.12824512060469]
本稿では,GANプリエントとディープデコーダの線形結合としてイメージをモデル化することにより,GANプリエントの表現誤差を低減する手法を提案する。
圧縮センシングと画像スーパーレゾリューションのために、我々のハイブリッドモデルは、GANプリエントとディープデコーダを別々に比較すると、PSNRが常に高い値を示す。
論文 参考訳(メタデータ) (2020-01-23T18:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。