論文の概要: Enhancing Image Rescaling using Dual Latent Variables in Invertible Neural Network

• arxiv url: http://arxiv.org/abs/2207.11844v1
• Date: Sun, 24 Jul 2022 23:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:35:04.345435
• Title: Enhancing Image Rescaling using Dual Latent Variables in Invertible Neural Network
• Title（参考訳）: 非可逆ニューラルネットワークにおけるデュアル潜時変数を用いた画像再スケーリングの強化
• Authors: Min Zhang, Zhihong Pan, Xin Zhou, C.-C. Jay Kuo
• Abstract要約: 画像ダウンスケーリングプロセスのバリエーションをモデル化するために、新しいダウンスケーリング潜在変数が導入された。 これにより、ダウンスケールのLR画像の画質を犠牲にすることなく、画像のアップスケーリング精度を一貫して向上させることができる。 また、画像隠蔽のような画像復元アプリケーションのための他の INN ベースのモデルの拡張にも有効であることが示されている。
• 参考スコア（独自算出の注目度）: 42.18106162158025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Normalizing flow models have been used successfully for generative image super-resolution (SR) by approximating complex distribution of natural images to simple tractable distribution in latent space through Invertible Neural Networks (INN). These models can generate multiple realistic SR images from one low-resolution (LR) input using randomly sampled points in the latent space, simulating the ill-posed nature of image upscaling where multiple high-resolution (HR) images correspond to the same LR. Lately, the invertible process in INN has also been used successfully by bidirectional image rescaling models like IRN and HCFlow for joint optimization of downscaling and inverse upscaling, resulting in significant improvements in upscaled image quality. While they are optimized for image downscaling too, the ill-posed nature of image downscaling, where one HR image could be downsized to multiple LR images depending on different interpolation kernels and resampling methods, is not considered. A new downscaling latent variable, in addition to the original one representing uncertainties in image upscaling, is introduced to model variations in the image downscaling process. This dual latent variable enhancement is applicable to different image rescaling models and it is shown in extensive experiments that it can improve image upscaling accuracy consistently without sacrificing image quality in downscaled LR images. It is also shown to be effective in enhancing other INN-based models for image restoration applications like image hiding.
• Abstract（参考訳）: Invertible Neural Networks (INN) を通じて、自然画像の複雑な分布を遅延空間における単純なトラクタブル分布に近似することにより、生成画像超解像(SR)に正規化フローモデルが成功している。 これらのモデルは、複数の高解像度(HR)画像が同じLRに対応する画像アップスケーリングの不正な性質をシミュレートし、潜在空間内のランダムサンプリングされた点を用いて、1つの低解像度(LR)入力から複数の現実的SR画像を生成することができる。 近年、IRNの非可逆プロセスは、ダウンスケーリングと逆アップスケーリングの併用最適化のために、IRNやHCFlowといった双方向イメージ再スケーリングモデルでもうまく利用されており、アップスケールの画質が大幅に改善されている。 画像のダウンスケーリングにも最適化されているが、1つのHR画像を異なる補間カーネルや再サンプリング方法に依存する複数のLR画像に縮小することができる画像ダウンスケーリングの性質は考慮されていない。 イメージダウンスケーリングプロセスのバリエーションをモデル化するために、イメージアップスケーリングにおける不確実性を表す元の変数に加えて、新しいダウンスケーリング潜在変数が導入された。 この2つの潜伏変数拡張は、異なる画像再スケーリングモデルに適用でき、ダウンスケールされたLR画像の画質を犠牲にすることなく、画像アップスケーリング精度を一貫して向上できることを示す。 また、画像隠蔽のような画像復元アプリケーションのための他の INN ベースのモデルの拡張にも有効である。

関連論文リスト

• Realistic Extreme Image Rescaling via Generative Latent Space Learning [51.85790402171696]
  極端画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。 LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。 第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。 第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Raising The Limit Of Image Rescaling Using Auxiliary Encoding [7.9700865143145485]
  近年、IRNのような画像再スケーリングモデルは、INNの双方向性を利用して、画像アップスケーリングのパフォーマンス限界を押し上げている。 本稿では,画像再スケーリング性能の限界をさらに押し上げるために,補助符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2023-03-12T20:49:07Z)
• Super-resolution Reconstruction of Single Image for Latent features [8.857209365343646]
  単一像超解像(SISR)は、通常、様々な劣化した低分解能(LR)画像を単一の高分解能(HR)画像に復元することに焦点を当てる。 モデルが細部やテクスチャの多様性を保ちながら、高品質かつ迅速なサンプリングを同時に維持することは、しばしば困難である。 この課題は、モデル崩壊、再構成されたHR画像におけるリッチディテールとテクスチャの特徴の欠如、モデルサンプリングの過剰な時間消費などの問題を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-16T09:37:07Z)
• Real Image Super-Resolution using GAN through modeling of LR and HR process [20.537597542144916]
  LRモデルとSRモデルに組み込んだ学習可能な適応正弦波非線形性を提案し,分解分布を直接学習する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T09:23:37Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Hierarchical Conditional Flow: A Unified Framework for Image Super-Resolution and Image Rescaling [139.25215100378284]
  画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。 HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。 さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
  論文  参考訳（メタデータ） (2021-08-11T16:11:01Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• Invertible Image Rescaling [118.2653765756915]
  Invertible Rescaling Net (IRN) を開発した。 我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
  論文  参考訳（メタデータ） (2020-05-12T09:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。