論文の概要: PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

• arxiv url: http://arxiv.org/abs/2003.03808v3
• Date: Mon, 20 Jul 2020 21:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 14:16:47.971137
• Title: PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
• Title（参考訳）: PULSE: 生成モデルの潜在空間探索による自己監督型写真アップサンプリング
• Authors: Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, Cynthia Rudin
• Abstract要約: PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 77.32079593577821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The primary aim of single-image super-resolution is to construct high-resolution (HR) images from corresponding low-resolution (LR) inputs. In previous approaches, which have generally been supervised, the training objective typically measures a pixel-wise average distance between the super-resolved (SR) and HR images. Optimizing such metrics often leads to blurring, especially in high variance (detailed) regions. We propose an alternative formulation of the super-resolution problem based on creating realistic SR images that downscale correctly. We present an algorithm addressing this problem, PULSE (Photo Upsampling via Latent Space Exploration), which generates high-resolution, realistic images at resolutions previously unseen in the literature. It accomplishes this in an entirely self-supervised fashion and is not confined to a specific degradation operator used during training, unlike previous methods (which require supervised training on databases of LR-HR image pairs). Instead of starting with the LR image and slowly adding detail, PULSE traverses the high-resolution natural image manifold, searching for images that downscale to the original LR image. This is formalized through the "downscaling loss," which guides exploration through the latent space of a generative model. By leveraging properties of high-dimensional Gaussians, we restrict the search space to guarantee realistic outputs. PULSE thereby generates super-resolved images that both are realistic and downscale correctly. We show proof of concept of our approach in the domain of face super-resolution (i.e., face hallucination). We also present a discussion of the limitations and biases of the method as currently implemented with an accompanying model card with relevant metrics. Our method outperforms state-of-the-art methods in perceptual quality at higher resolutions and scale factors than previously possible.
• Abstract（参考訳）: 単一像超解像の主な目的は、対応する低解像度(LR)入力から高解像度(HR)画像を構築することである。 従来は一般に監督されていた手法では、訓練目的は通常、超解像(SR)とHR画像の間の画素平均距離を測定する。 このようなメトリクスを最適化することは、特に高分散(詳細)領域において、しばしばぼやけにつながる。 本稿では,現実的なSR画像のダウンスケールに基づいて,超解像問題の定式化を提案する。 本稿では,この問題を解決するアルゴリズムであるPULSE(Photo Upsampling via Latent Space Exploration)を提案する。 これは完全に自己監督的な方法で達成され、トレーニング中に使用される特定の劣化演算子に限定されない(LR-HRイメージペアのデータベースの教師付きトレーニングを必要とする)。 LR画像から始めて徐々に詳細を追加する代わりに、PULSEは高解像度の自然画像多様体を横切り、元のLR画像にダウンスケールされた画像を探す。 これは「スケールダウン」によって形式化され、生成モデルの潜在空間での探索を導く。 高次元ガウスの性質を利用することで、現実的な出力を保証するために探索空間を制限する。 これにより、PULSEは現実的かつダウンスケールな超解像を生成する。 顔超解像領域(すなわち、顔幻覚)における我々のアプローチの概念の証明を示す。 また,現在実装されている手法の制約とバイアスについて,関連する指標を付したモデルカードで議論する。 本手法は,従来よりも高分解能,スケール係数の知覚的品質において最先端の手法を上回っている。

関連論文リスト

• Realistic Extreme Image Rescaling via Generative Latent Space Learning [51.85790402171696]
  極端画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。 LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。 第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。 第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Real Image Super-Resolution using GAN through modeling of LR and HR process [20.537597542144916]
  LRモデルとSRモデルに組み込んだ学習可能な適応正弦波非線形性を提案し,分解分布を直接学習する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T09:23:37Z)
• Memory-augmented Deep Unfolding Network for Guided Image Super-resolution [67.83489239124557]
  誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。 従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。 HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
  論文  参考訳（メタデータ） (2022-02-12T15:37:13Z)
• Toward Real-world Image Super-resolution via Hardware-based Adaptive Degradation Models [3.9037347042028254]
  ほとんどの単一画像超解像法は、合成低分解能(LR)と高分解能(HR)画像対上で開発されている。 ハードウェアの知識を取り入れた未知の劣化過程をシミュレートする新しい教師付き手法を提案する。 実世界のデータセットを用いた実験により,我々の劣化モデルが所定の劣化操作よりも精度良くLR画像を推定できることが確認された。
  論文  参考訳（メタデータ） (2021-10-20T19:53:48Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)
• Real-World Super-Resolution of Face-Images from Surveillance Cameras [25.258587196435464]
  本稿では,現実的なLR/HRトレーニングペアを生成するための新しいフレームワークを提案する。 本フレームワークは、実写のぼやけたカーネル、ノイズ分布、JPEG圧縮アーチファクトを推定し、ソース領域のものと類似した画像特性を持つLR画像を生成する。 我々はGANベースのSRモデルを用いて、よく使われるVGG-loss[24]とLPIPS-loss[52]を交換した。
  論文  参考訳（メタデータ） (2021-02-05T11:38:30Z)
• SRFlow: Learning the Super-Resolution Space with Normalizing Flow [176.07982398988747]
  超解像度は、与えられた低解像度画像の複数の予測を可能にするため、不適切な問題である。 出力の条件分布を学習できる正規化フローベース超解法SRFlowを提案する。 我々のモデルは、単一損失、すなわち負のログ類似度を用いて、原則的に訓練されている。
  論文  参考訳（メタデータ） (2020-06-25T06:34:04Z)
• Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution [31.934084942626257]
  我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。 これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。 提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
  論文  参考訳（メタデータ） (2020-05-03T00:12:38Z)
• Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
  既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。 従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。 これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。 従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
  論文  参考訳（メタデータ） (2019-12-30T16:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。