論文の概要: S2R: Exploring a Double-Win Transformer-Based Framework for Ideal and Blind Super-Resolution

• arxiv url: http://arxiv.org/abs/2308.08142v1
• Date: Wed, 16 Aug 2023 04:27:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 14:54:04.611386
• Title: S2R: Exploring a Double-Win Transformer-Based Framework for Ideal and Blind Super-Resolution
• Title（参考訳）: S2R: 理想的でブラインドな超解法のためのダブルウィン変換器ベースのフレームワーク
• Authors: Minghao She, Wendong Mao, Huihong Shi and Zhongfeng Wang
• Abstract要約: 軽量トランスを用いたSRモデル(S2Rトランス)と新しい粗大なトレーニング戦略を提案する。 提案したS2Rは、578Kパラメータしか持たない理想的なSR条件で他の単一像SRモデルより優れている。 ブラインドファジィ環境では、通常のブラインドSRモデルよりも、わずか10のグラデーションアップデートでより良い視覚結果が得られる。
• 参考スコア（独自算出の注目度）: 5.617008573997855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, deep learning based methods have demonstrated impressive performance on ideal super-resolution (SR) datasets, but most of these methods incur dramatically performance drops when directly applied in real-world SR reconstruction tasks with unpredictable blur kernels. To tackle this issue, blind SR methods are proposed to improve the visual results on random blur kernels, which causes unsatisfactory reconstruction effects on ideal low-resolution images similarly. In this paper, we propose a double-win framework for ideal and blind SR task, named S2R, including a light-weight transformer-based SR model (S2R transformer) and a novel coarse-to-fine training strategy, which can achieve excellent visual results on both ideal and random fuzzy conditions. On algorithm level, S2R transformer smartly combines some efficient and light-weight blocks to enhance the representation ability of extracted features with relatively low number of parameters. For training strategy, a coarse-level learning process is firstly performed to improve the generalization of the network with the help of a large-scale external dataset, and then, a fast fine-tune process is developed to transfer the pre-trained model to real-world SR tasks by mining the internal features of the image. Experimental results show that the proposed S2R outperforms other single-image SR models in ideal SR condition with only 578K parameters. Meanwhile, it can achieve better visual results than regular blind SR models in blind fuzzy conditions with only 10 gradient updates, which improve convergence speed by 300 times, significantly accelerating the transfer-learning process in real-world situations.
• Abstract（参考訳）: 現在、ディープラーニングに基づく手法は、理想的な超解像(SR)データセット上で印象的な性能を示しているが、これらの手法のほとんどは、予測不能なボケカーネルを持つ現実のSR再構成タスクに直接適用した場合、劇的に性能低下を引き起こす。 この問題を解決するために、ブラインドSR法はランダムなぼかしカーネルの視覚的結果を改善するために提案され、これは理想的な低解像度画像に不満足な再構成効果をもたらす。 本稿では、S2Rと呼ばれる理想的かつ盲目的的なSRタスクのためのダブルウィンフレームワークを提案する。これには、軽量トランスフォーマーベースSRモデル(S2R変換器)と、理想的かつランダムなファジィ条件の両方において優れた視覚的結果が得られる新しい粗い訓練戦略が含まれる。 アルゴリズムレベルでは、S2R変換器は効率よく軽量なブロックを巧みに組み合わせ、比較的少ないパラメータで抽出された特徴の表現能力を向上する。 トレーニング戦略では、まず大規模な外部データセットの助けを借りてネットワークの一般化を改善するために粗いレベルの学習プロセスを行い、その後、画像の内部特徴をマイニングすることで、事前学習されたモデルを実世界のSRタスクに転送する高速な微調整プロセスを開発する。 実験の結果,提案したS2Rは,578Kパラメータしか持たない理想的なSR条件下で,他の単一像SRモデルよりも優れていた。 一方、ブラインドファジィ状態の通常のブラインドSRモデルよりも、300倍の収束速度を向上し、現実の状況下での移動学習プロセスを大幅に加速する10の勾配更新で、より良い視覚結果が得られる。

関連論文リスト

• Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction [62.955327005837475]
  画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。 SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
  論文  参考訳（メタデータ） (2023-10-29T13:58:57Z)
• DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image Super-Resolution [15.694407977871341]
  実世界の画像超解像(RISR)は、未知の複雑な劣化下でのSR画像の品質向上に重点を置いている。 既存の手法は、分解レベルが異なる低解像度(LR)画像を強化するために重いSRモデルに依存している。 本稿では,DCS-RISRと呼ばれる高効率リアルタイム画像超解法のための動的チャネル分割方式を提案する。
  論文  参考訳（メタデータ） (2022-12-15T04:34:57Z)
• The Best of Both Worlds: a Framework for Combining Degradation Prediction with High Performance Super-Resolution Networks [14.804000317612305]
  本稿では,ブラインドSR予測機構とディープSRネットワークを組み合わせるためのフレームワークを提案する。 我々は、我々のハイブリッドモデルが、非盲目モデルと盲目モデルの両方よりも強いSR性能を一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2022-11-09T16:49:35Z)
• Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows [14.882417028542855]
  本稿では、上記の問題に対処するために、正規化フロー(BlindSRSNF)に基づく新しいブラインドSRフレームワークを提案する。 BlindSRSNFは、低解像度(LR)画像が与えられた高解像度画像空間上の条件確率分布を、確率の変動境界を明示的に最適化することによって学習する。 提案アルゴリズムは,シミュレーションLRと実世界RSIの両方において,視覚的品質の優れたSR結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-14T12:37:32Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
  実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。 深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。 本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T13:28:15Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation [6.14297871633911]
  現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。 本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。 まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。 そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
  論文  参考訳（メタデータ） (2020-08-01T07:10:13Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)
• Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
  既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。 従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。 これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。 従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
  論文  参考訳（メタデータ） (2019-12-30T16:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。