論文の概要: Frequency-Aware Physics-Inspired Degradation Model for Real-World Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2111.03301v1
• Date: Fri, 5 Nov 2021 07:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 22:54:19.786784
• Title: Frequency-Aware Physics-Inspired Degradation Model for Real-World Image Super-Resolution
• Title（参考訳）: 実世界画像の高分解能化のための周波数認識物理学に基づく分解モデル
• Authors: Zhenxing Dong, Hong Cao, Wang Shen, Yu Gan, Yuye Ling, Guangtao Zhai, Yikai Su
• Abstract要約: 両光およびセンサ劣化を考慮した実世界の物理インスパイアされた劣化モデルについて定式化する。 我々は、畳み込みニューラルネットワーク(CNN)を用いて、現実世界の劣化過程の遮断周波数を学習することを提案する。 異なる撮像システムで撮像した実世界の画像に対して,提案した劣化モデルの有効性と一般化能力を評価する。
• 参考スコア（独自算出の注目度）: 18.328806055594576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current learning-based single image super-resolution (SISR) algorithms underperform on real data due to the deviation in the assumed degrada-tion process from that in the real-world scenario. Conventional degradation processes consider applying blur, noise, and downsampling (typicallybicubic downsampling) on high-resolution (HR) images to synthesize low-resolution (LR) counterparts. However, few works on degradation modelling have taken the physical aspects of the optical imaging system intoconsideration. In this paper, we analyze the imaging system optically andexploit the characteristics of the real-world LR-HR pairs in the spatial frequency domain. We formulate a real-world physics-inspired degradationmodel by considering bothopticsandsensordegradation; The physical degradation of an imaging system is modelled as a low-pass filter, whose cut-off frequency is dictated by the object distance, the focal length of thelens, and the pixel size of the image sensor. In particular, we propose to use a convolutional neural network (CNN) to learn the cutoff frequency of real-world degradation process. The learned network is then applied to synthesize LR images from unpaired HR images. The synthetic HR-LR image pairs are later used to train an SISR network. We evaluatethe effectiveness and generalization capability of the proposed degradation model on real-world images captured by different imaging systems. Experimental results showcase that the SISR network trained by using our synthetic data performs favorably against the network using the traditional degradation model. Moreover, our results are comparable to that obtained by the same network trained by using real-world LR-HR pairs, which are challenging to obtain in real scenes.
• Abstract（参考訳）: 現在の学習に基づくsingle image super- resolution (sisr)アルゴリズムは、実際のシナリオで想定される分解過程のずれのために実データに過小評価される。 従来の劣化過程では、高分解能(hr)画像にぼかし、ノイズ、ダウンサンプリング(典型的にはbicubic downsampling)を適用して低分解能(lr)画像を生成する。 しかし,光学画像システムの物理的側面を考慮に入れた劣化モデリングの研究はほとんどない。 本稿では,空間周波数領域における実世界のLR-HR対の特性を光学的に解析し,その特性を明らかにする。 撮像系の物理的劣化を低パスフィルタとしてモデル化し、その遮断周波数は物体距離、レンズの焦点長、画像センサの画素サイズによって決定される。 特に、畳み込みニューラルネットワーク(CNN)を用いて、実世界の劣化過程の遮断周波数を学習することを提案する。 学習したネットワークを用いて、未ペアのHR画像からLR画像を合成する。 合成HR-LRイメージペアは後にSISRネットワークのトレーニングに使用される。 異なる撮像システムで撮像した実世界の画像に対する劣化モデルの有効性と一般化能力を評価する。 実験の結果,本合成データを用いてトレーニングしたsisrネットワークは,従来の劣化モデルを用いたネットワークに対して好適に機能することが示された。 さらに,現実のLR-HRペアを用いてトレーニングした同じネットワークで得られたものと比較し,実際のシーンで取得することが困難である。

関連論文リスト

• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
  拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。 既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。 本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T08:27:56Z)
• Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction [62.955327005837475]
  画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。 SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
  論文  参考訳（メタデータ） (2023-10-29T13:58:57Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Unsupervised Representation Learning for 3D MRI Super Resolution with Degradation Adaptation [28.296921790037725]
  高分解能(HR)磁気共鳴イメージングは、診断や画像誘導治療において医師を支援する上で重要である。 深層学習に基づく超解像再構成(SRR)は、低分解能(LR)画像から超解像(SR)画像を生成するための有望な解決策として登場した。 このようなニューラルネットワークのトレーニングには、画像取得中と画像取得間の患者の動きのために取得が困難である、整列したHRとLRイメージペアが必要である。
  論文  参考訳（メタデータ） (2022-05-13T21:07:26Z)
• Hierarchical Conditional Flow: A Unified Framework for Image Super-Resolution and Image Rescaling [139.25215100378284]
  画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。 HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。 さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
  論文  参考訳（メタデータ） (2021-08-11T16:11:01Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Deep Cyclic Generative Adversarial Residual Convolutional Networks for Real Image Super-Resolution [20.537597542144916]
  我々は、LRとHRデータ分布間の領域整合性を維持するために、深い循環ネットワーク構造を考える。 本稿では,LRからHRドメインへの変換のためのGAN(Generative Adversarial Network)フレームワークを用いた学習により,超解像残留周期生成逆ネットワーク(SRResCycGAN)を提案する。
  論文  参考訳（メタデータ） (2020-09-07T11:11:18Z)
• Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution [31.934084942626257]
  我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。 これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。 提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
  論文  参考訳（メタデータ） (2020-05-03T00:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。