論文の概要: Diverse super-resolution with pretrained deep hiererarchical VAEs

• arxiv url: http://arxiv.org/abs/2205.10347v1
• Date: Fri, 20 May 2022 17:57:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 14:27:58.498180
• Title: Diverse super-resolution with pretrained deep hiererarchical VAEs
• Title（参考訳）: 事前訓練された深部階層的vaesによる多彩な超解像
• Authors: Jean Prost, Antoine Houdard, Nicolas Papadakis and Andr\'es Almansa
• Abstract要約: 本研究では,VD-VAE (State-of-the Art variational autoencoder, VAE) を再利用することで, 多様な超解像問題に取り組む。 VD-VAEによって学習された階層的潜時表現は、階層の最上部の潜時グループに符号化された画像低周波情報を、階層の最下部の潜時グループによって決定された画像高周波の詳細から自然に分離する。 我々は、低周波情報を符号化するVD-VAE潜在空間のサブセットにおいて、低分解能画像を符号化するエンコーダを訓練する。
• 参考スコア（独自算出の注目度）: 4.566180616886624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image super-resolution is a one-to-many problem, but most deep-learning based methods only provide one single solution to this problem. In this work, we tackle the problem of diverse super-resolution by reusing VD-VAE, a state-of-the art variational autoencoder (VAE). We find that the hierarchical latent representation learned by VD-VAE naturally separates the image low-frequency information, encoded in the latent groups at the top of the hierarchy, from the image high-frequency details, determined by the latent groups at the bottom of the latent hierarchy. Starting from this observation, we design a super-resolution model exploiting the specific structure of VD-VAE latent space. Specifically, we train an encoder to encode low-resolution images in the subset of VD-VAE latent space encoding the low-frequency information, and we combine this encoder with VD-VAE generative model to sample diverse super-resolved version of a low-resolution input. We demonstrate the ability of our method to generate diverse solutions to the super-resolution problem on face super-resolution with upsampling factors x4, x8, and x16.
• Abstract（参考訳）: 画像の超解像は1対多の問題であるが、ほとんどのディープラーニングベースの手法はこの問題に対して1つのソリューションしか提供しない。 本研究では,VD-VAE (State-of-the Art variational autoencoder, VAE) を再利用することで, 多様な超解像問題に取り組む。 VD-VAEによって学習された階層的潜時表現は、階層の最上部の潜時グループに符号化された画像低周波情報を、階層の最下部の潜時グループによって決定された画像高周波の詳細から自然に分離する。 この観測から、VD-VAE潜在空間の特定の構造を利用した超解像モデルの設計を行う。 具体的には、低周波情報を符号化するVD-VAE潜在空間のサブセットに低分解能画像をエンコードするようにエンコーダを訓練し、このエンコーダとVD-VAE生成モデルを組み合わせて、低分解能入力の様々な超解像をサンプリングする。 提案手法は,x4,x8,x16のアップサンプリング係数を用いて,超解像度問題に対する多様な解を生成する能力を示す。

関連論文リスト

• Efficient Conditional Diffusion Model with Probability Flow Sampling for Image Super-resolution [35.55094110634178]
  画像超解像のための確率フローサンプリングを用いた効率的な条件拡散モデルを提案する。 提案手法は,既存の拡散型画像超解像法よりも高画質化を実現している。
  論文  参考訳（メタデータ） (2024-04-16T16:08:59Z)
• Solving General Noisy Inverse Problem via Posterior Sampling: A Policy Gradient Viewpoint [21.22750301965104]
  本研究では,事前学習した拡散生成モデルを用いて,タスク固有モデルによる微調整を伴わずに,幅広い画像逆タスクを解く。 入力画像の誘導スコア関数を正確に推定するために,拡散ポリシー勾配(DPG)を提案する。 実験により,複数の線形および非線形の逆問題に対するガウス雑音とポアソン雑音の両方に対して,本手法は頑健であることが示された。
  論文  参考訳（メタデータ） (2024-03-15T16:38:47Z)
• ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution [84.73658185158222]
  本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。 提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。 提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
  論文  参考訳（メタデータ） (2023-07-03T06:49:04Z)
• Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models [98.95988351420334]
  本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。 線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
  論文  参考訳（メタデータ） (2023-07-02T17:21:30Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Deep Model-Based Super-Resolution with Non-uniform Blur [1.7188280334580197]
  非一様ぼかしを持つ超解像の最先端手法を提案する。 まず,線形化ADMM分割手法に基づく高速なプラグアンドプレイアルゴリズムを提案する。 反復アルゴリズムをひとつのネットワークに展開し、エンドツーエンドでトレーニングします。
  論文  参考訳（メタデータ） (2022-04-21T13:57:21Z)
• Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization [67.99082021804145]
  我々はDetail Enhanced Contrastive Loss (DECLoss)と呼ばれるCOO問題に対する明確な解決策を提案する。 DECLossはコントラスト学習のクラスタリング特性を利用して、潜在的な高分解能分布の分散を直接的に低減する。 我々は複数の超高解像度ベンチマーク上でDECLosを評価し,PSNR指向モデルの知覚品質を向上させることを実証した。
  論文  参考訳（メタデータ） (2022-01-04T08:30:09Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• SRFlow: Learning the Super-Resolution Space with Normalizing Flow [176.07982398988747]
  超解像度は、与えられた低解像度画像の複数の予測を可能にするため、不適切な問題である。 出力の条件分布を学習できる正規化フローベース超解法SRFlowを提案する。 我々のモデルは、単一損失、すなわち負のログ類似度を用いて、原則的に訓練されている。
  論文  参考訳（メタデータ） (2020-06-25T06:34:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。