論文の概要: Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction

• arxiv url: http://arxiv.org/abs/2310.19011v1
• Date: Sun, 29 Oct 2023 13:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:05:42.255265
• Title: Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction
• Title（参考訳）: 2次劣化と再構成による高分解能試験時間適応
• Authors: Zeshuai Deng, Zhuokun Chen, Shuaicheng Niu, Thomas H. Li, Bohan Zhuang, Mingkui Tan
• Abstract要約: 画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。 SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
• 参考スコア（独自算出の注目度）: 62.955327005837475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image super-resolution (SR) aims to learn a mapping from low-resolution (LR) to high-resolution (HR) using paired HR-LR training images. Conventional SR methods typically gather the paired training data by synthesizing LR images from HR images using a predetermined degradation model, e.g., Bicubic down-sampling. However, the realistic degradation type of test images may mismatch with the training-time degradation type due to the dynamic changes of the real-world scenarios, resulting in inferior-quality SR images. To address this, existing methods attempt to estimate the degradation model and train an image-specific model, which, however, is quite time-consuming and impracticable to handle rapidly changing domain shifts. Moreover, these methods largely concentrate on the estimation of one degradation type (e.g., blur degradation), overlooking other degradation types like noise and JPEG in real-world test-time scenarios, thus limiting their practicality. To tackle these problems, we present an efficient test-time adaptation framework for SR, named SRTTA, which is able to quickly adapt SR models to test domains with different/unknown degradation types. Specifically, we design a second-order degradation scheme to construct paired data based on the degradation type of the test image, which is predicted by a pre-trained degradation classifier. Then, we adapt the SR model by implementing feature-level reconstruction learning from the initial test image to its second-order degraded counterparts, which helps the SR model generate plausible HR images. Extensive experiments are conducted on newly synthesized corrupted DIV2K datasets with 8 different degradations and several real-world datasets, demonstrating that our SRTTA framework achieves an impressive improvement over existing methods with satisfying speed. The source code is available at https://github.com/DengZeshuai/SRTTA.
• Abstract（参考訳）: 画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,対のHR-LRトレーニング画像を用いて学習することを目的としている。 従来のsr法は、例えばbicubicdown-sampingのような所定の分解モデルを用いてhr画像からlr画像を合成してペアトレーニングデータを収集する。 しかし,現実的な劣化型テスト画像は実世界のシナリオが動的に変化するため,訓練時間劣化型とミスマッチする可能性がある。 既存の手法では、劣化モデルを推定し、画像固有のモデルを訓練しようとするが、急速に変化するドメインシフトを扱うのにはかなり時間がかかり、実行不可能である。 さらに、これらの手法は、実世界のテストタイムシナリオにおけるノイズやJPEGなどの他の劣化タイプを見越して、一つの劣化タイプ(例えば、ぼかし劣化)を推定することに集中している。 これらの問題に対処するために,SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案する。 具体的には,事前学習した劣化分類器によって予測されるテスト画像の劣化型に基づいて,ペアデータを構成する2次劣化スキームを設計する。 そして、初期テスト画像から2階劣化画像への特徴レベル再構成学習を実装してSRモデルを適応させ、SRモデルが可塑性HR画像を生成するのに役立つ。 8つの異なる劣化と複数の実世界のデータセットを持つ新たに合成されたDIV2Kデータセットに対して大規模な実験を行い、我々のSRTTAフレームワークは、既存の手法よりも高速で大幅に改善されていることを示した。 ソースコードはhttps://github.com/DengZeshuai/SRTTAで入手できる。

関連論文リスト

• Learning Many-to-Many Mapping for Unpaired Real-World Image Super-resolution and Downscaling [60.80788144261183]
  実世界のLR画像とHR画像の双方向多対多マッピングを教師なしで同時に学習するSDFlowと呼ばれる画像ダウンスケーリングとSRモデルを提案する。 実世界の画像SRデータセットによる実験結果から,SDFlowは定量的かつ定性的に,多様な現実的なLRとSRの画像を生成可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-08T01:48:34Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows [14.882417028542855]
  本稿では、上記の問題に対処するために、正規化フロー(BlindSRSNF)に基づく新しいブラインドSRフレームワークを提案する。 BlindSRSNFは、低解像度(LR)画像が与えられた高解像度画像空間上の条件確率分布を、確率の変動境界を明示的に最適化することによって学習する。 提案アルゴリズムは,シミュレーションLRと実世界RSIの両方において,視覚的品質の優れたSR結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-14T12:37:32Z)
• Toward Real-world Image Super-resolution via Hardware-based Adaptive Degradation Models [3.9037347042028254]
  ほとんどの単一画像超解像法は、合成低分解能(LR)と高分解能(HR)画像対上で開発されている。 ハードウェアの知識を取り入れた未知の劣化過程をシミュレートする新しい教師付き手法を提案する。 実世界のデータセットを用いた実験により,我々の劣化モデルが所定の劣化操作よりも精度良くLR画像を推定できることが確認された。
  論文  参考訳（メタデータ） (2021-10-20T19:53:48Z)
• Hierarchical Conditional Flow: A Unified Framework for Image Super-Resolution and Image Rescaling [139.25215100378284]
  画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。 HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。 さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
  論文  参考訳（メタデータ） (2021-08-11T16:11:01Z)
• Unsupervised Degradation Representation Learning for Blind Super-Resolution [27.788488575616032]
  CNNベースのスーパーリゾリューション(SR)手法は、実際の劣化が仮定と異なる場合に深刻なパフォーマンス低下を被る。 明示的な劣化推定を伴わない盲点SRのための教師なし劣化表現学習手法を提案する。 我々のネットワークは、ブラインドSRタスクの最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-04-01T11:57:42Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation [6.14297871633911]
  現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。 本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。 まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。 そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
  論文  参考訳（メタデータ） (2020-08-01T07:10:13Z)
• Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
  既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。 従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。 これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。 従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
  論文  参考訳（メタデータ） (2019-12-30T16:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。