論文の概要: Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization

• arxiv url: http://arxiv.org/abs/2201.01034v2
• Date: Fri, 15 Mar 2024 07:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 08:10:52.901516
• Title: Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization
• Title（参考訳）: 画像超解法における過度に滑らかな挑戦:エントロピーに基づく量子化とコントラスト最適化
• Authors: Tianshuo Xu, Lijiang Li, Peng Mi, Xiawu Zheng, Fei Chao, Rongrong Ji, Yonghong Tian, Qiang Shen,
• Abstract要約: 我々はDetail Enhanced Contrastive Loss (DECLoss)と呼ばれるCOO問題に対する明確な解決策を提案する。 DECLossはコントラスト学習のクラスタリング特性を利用して、潜在的な高分解能分布の分散を直接的に低減する。 我々は複数の超高解像度ベンチマーク上でDECLosを評価し,PSNR指向モデルの知覚品質を向上させることを実証した。
• 参考スコア（独自算出の注目度）: 67.99082021804145
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: PSNR-oriented models are a critical class of super-resolution models with applications across various fields. However, these models tend to generate over-smoothed images, a problem that has been analyzed previously from the perspectives of models or loss functions, but without taking into account the impact of data properties. In this paper, we present a novel phenomenon that we term the center-oriented optimization (COO) problem, where a model's output converges towards the center point of similar high-resolution images, rather than towards the ground truth. We demonstrate that the strength of this problem is related to the uncertainty of data, which we quantify using entropy. We prove that as the entropy of high-resolution images increases, their center point will move further away from the clean image distribution, and the model will generate over-smoothed images. Implicitly optimizing the COO problem, perceptual-driven approaches such as perceptual loss, model structure optimization, or GAN-based methods can be viewed. We propose an explicit solution to the COO problem, called Detail Enhanced Contrastive Loss (DECLoss). DECLoss utilizes the clustering property of contrastive learning to directly reduce the variance of the potential high-resolution distribution and thereby decrease the entropy. We evaluate DECLoss on multiple super-resolution benchmarks and demonstrate that it improves the perceptual quality of PSNR-oriented models. Moreover, when applied to GAN-based methods, such as RaGAN, DECLoss helps to achieve state-of-the-art performance, such as 0.093 LPIPS with 24.51 PSNR on 4x downsampled Urban100, validating the effectiveness and generalization of our approach.
• Abstract（参考訳）: PSNR指向モデル(PSNR-oriented model)は、様々な分野に適用可能な超解像モデルの重要なクラスである。 しかし、これらのモデルでは、以前モデルや損失関数の観点から分析され、データ特性の影響を考慮せずに、過度に滑らかな画像を生成する傾向にある。 本稿では,モデル出力が基底真理ではなく,類似の高解像度画像の中心点に収束する中心指向最適化(COO)問題(Central-oriented optimization, COO)問題(Central-oriented optimization, COO)問題(Central-oriented optimization, COO)問題)と呼ぶ新しい現象を示す。 この問題の強さは,エントロピーを用いて定量化するデータの不確実性に関係があることを実証する。 高解像度画像のエントロピーが増大するにつれて、その中心点がクリーンな画像分布から遠ざかっていき、モデルが過度に滑らかな画像を生成することが証明される。 COO問題を暗黙的に最適化し、知覚的損失やモデル構造最適化、GANベースの手法などの知覚駆動アプローチを見ることができる。 本稿では,Detail Enhanced Contrastive Loss (DECLoss)と呼ばれる,COO問題の明示的な解決法を提案する。 DECLossは、コントラスト学習のクラスタリング特性を利用して、潜在的高分解能分布の分散を直接低減し、エントロピーを減少させる。 我々は複数の超高解像度ベンチマーク上でDECLosを評価し,PSNR指向モデルの知覚品質を向上させることを実証した。 さらに,RaGAN などの GAN ベースの手法に適用した場合,DCLoss は 4x ダウンサンプリングしたUrban100 上で 24.51 PSNR の 0.093 LPIPS などの最先端性能を実現し,提案手法の有効性と一般化の検証を行う。

関連論文リスト

• Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
  拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。 本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。 既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
  論文  参考訳（メタデータ） (2024-09-25T16:15:21Z)
• Suppressing Uncertainties in Degradation Estimation for Blind Super-Resolution [31.89605287039615]
  ブラインド画像の超解像問題は、未知の劣化モードで低解像度(LR)画像から高解像度(HR)画像を復元することを目的としている。 既存のほとんどの手法は、ぼやけたカーネルを使って画像劣化過程をモデル化している。 盲目的のtextbf Super-textbfResolution フレームワークに対して,textbfUncertainty に基づく分解表現を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:58:43Z)
• Efficient Conditional Diffusion Model with Probability Flow Sampling for Image Super-resolution [35.55094110634178]
  画像超解像のための確率フローサンプリングを用いた効率的な条件拡散モデルを提案する。 提案手法は,既存の拡散型画像超解像法よりも高画質化を実現している。
  論文  参考訳（メタデータ） (2024-04-16T16:08:59Z)
• ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution [84.73658185158222]
  本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。 提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。 提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
  論文  参考訳（メタデータ） (2023-07-03T06:49:04Z)
• INDigo: An INN-Guided Probabilistic Diffusion Algorithm for Inverse Problems [31.693710075183844]
  一般逆問題に対する非可逆ニューラルネットワーク(INN)と拡散モデルを組み合わせた手法を提案する。 具体的には、任意の劣化過程をシミュレートするためにINNの前方処理を訓練し、逆処理を再構成プロセスとして使用する。 本アルゴリズムは, 劣化過程で失われる詳細を効果的に推定し, 劣化モデルのクローズドフォーム表現を知る必要により, もはや制限されない。
  論文  参考訳（メタデータ） (2023-06-05T15:14:47Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Invertible Image Rescaling [118.2653765756915]
  Invertible Rescaling Net (IRN) を開発した。 我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
  論文  参考訳（メタデータ） (2020-05-12T09:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。