論文の概要: Expanding Synthetic Real-World Degradations for Blind Video Super Resolution

• arxiv url: http://arxiv.org/abs/2305.02660v1
• Date: Thu, 4 May 2023 08:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 16:20:14.428371
• Title: Expanding Synthetic Real-World Degradations for Blind Video Super Resolution
• Title（参考訳）: ブラインドビデオ超解像のための合成実世界の劣化拡大
• Authors: Mehran Jeelani, Sadbhawna, Noshaba Cheema, Klaus Illgner-Fehns, Philipp Slusallek, and Sunil Jaiswal
• Abstract要約: ビデオ超解像(VSR)技術はここ数年で大幅に改善され、合成データに顕著な性能を示した。 しかし、実世界のビデオデータにおけるそれらのパフォーマンスは、実世界の劣化と不整合のビデオフレームの複雑さに悩まされている。 本稿では,合成学習データセットにおける実世界の劣化について述べる。
• 参考スコア（独自算出の注目度）: 3.474523163017713
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video super-resolution (VSR) techniques, especially deep-learning-based algorithms, have drastically improved over the last few years and shown impressive performance on synthetic data. However, their performance on real-world video data suffers because of the complexity of real-world degradations and misaligned video frames. Since obtaining a synthetic dataset consisting of low-resolution (LR) and high-resolution (HR) frames are easier than obtaining real-world LR and HR images, in this paper, we propose synthesizing real-world degradations on synthetic training datasets. The proposed synthetic real-world degradations (SRWD) include a combination of the blur, noise, downsampling, pixel binning, and image and video compression artifacts. We then propose using a random shuffling-based strategy to simulate these degradations on the training datasets and train a single end-to-end deep neural network (DNN) on the proposed larger variation of realistic synthesized training data. Our quantitative and qualitative comparative analysis shows that the proposed training strategy using diverse realistic degradations improves the performance by 7.1 % in terms of NRQM compared to RealBasicVSR and by 3.34 % compared to BSRGAN on the VideoLQ dataset. We also introduce a new dataset that contains high-resolution real-world videos that can serve as a common ground for bench-marking.
• Abstract（参考訳）: ビデオ超解像(VSR)技術、特にディープラーニングベースのアルゴリズムは、ここ数年で大幅に改善され、合成データに顕著なパフォーマンスを示している。 しかし、実世界のビデオデータにおけるそれらのパフォーマンスは、実世界の劣化と不一致のビデオフレームの複雑さに悩まされている。 本稿では,低分解能(LR)フレームと高分解能(HR)フレームからなる合成データセットの取得が実世界のLRとHR画像の取得よりも容易であるため,合成トレーニングデータセットを用いた実世界の劣化の合成を提案する。 提案した合成実世界の劣化(SRWD)には、ぼかし、ノイズ、ダウンサンプリング、ピクセルバイニング、画像およびビデオ圧縮アーティファクトの組み合わせが含まれる。 次に、ランダムシャッフルに基づく戦略を用いて、トレーニングデータセット上のこれらの劣化をシミュレートし、提案される現実的な合成トレーニングデータのより大きなバリエーションに基づいて、単一のエンドツーエンドのディープニューラルネットワーク(DNN)をトレーニングする。 定量的および定性的な比較分析により,様々な現実的劣化を用いたトレーニング戦略は,RealBasicVSRと比較してNRQMの7.1 %,VideoLQデータセットではBSRGANの3.34 %向上した。 また,ベンチマーキングの共通基盤となる高精細な実世界の映像を含むデータセットも紹介する。

関連論文リスト

• Enhanced Super-Resolution Training via Mimicked Alignment for Real-World Scenes [51.92255321684027]
  トレーニング中、LR入力とHR画像の整列により、誤調整問題を緩和する新しいプラグアンドプレイモジュールを提案する。 具体的には,従来のLR試料の特徴を保ちながらHRと整合する新しいLR試料を模倣する。 本手法を合成および実世界のデータセット上で総合的に評価し,SRモデルのスペクトル間での有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-07T18:18:54Z)
• Towards Realistic Data Generation for Real-World Super-Resolution [58.88039242455039]
  RealDGenは、現実世界の超解像のために設計された教師なし学習データ生成フレームワークである。 我々は,コンテンツ分解脱結合拡散モデルに統合されたコンテンツと劣化抽出戦略を開発する。 実験により、RealDGenは、現実世界の劣化を反映する大規模で高品質なペアデータを生成するのに優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-11T13:34:57Z)
• VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data [18.877077302923713]
  本稿では,映像圧縮に基づく劣化モデルを用いて,ブラインドSISRタスクにおける低解像度画像データを合成する。 提案手法は既存の画像データセットに適用可能である。 SISR分解モデルにビデオ符号化アーティファクトを導入することで、ニューラルネットワークは、ビデオ圧縮劣化を復元する機能を備えた、画像の超解凍を可能にする。
  論文  参考訳（メタデータ） (2023-11-02T05:24:19Z)
• Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution [65.20905703823965]
  ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。 既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
  論文  参考訳（メタデータ） (2022-12-10T17:41:46Z)
• Towards Real World HDRTV Reconstruction: A Data Synthesis-based Approach [48.1492764654516]
  既存のディープラーニングに基づくHDRTV再構成手法は、教師あり訓練のためのSDRTV-TVペアを合成する手法として、ある種類のトーンマッピング演算子(TMO)を仮定する。 本稿では,従来のTMOが効率のよいダイナミックレンジ圧縮の先駆的手法であるにもかかわらず,劣化情報の保存過剰,色偏差,可能アーティファクトのモデル化にいくつかの欠点があることを論じる。 ネットワーク構造と損失関数の両方に複数のトーンマッピングを組み込むことで,実世界のSDRTVの特性を学習する学習ベースデータ合成手法を提案する。
  論文  参考訳（メタデータ） (2022-11-06T08:27:37Z)
• Towards Real-World Video Deblurring by Exploring Blur Formation Process [53.91239555063343]
  近年、深層学習に基づくアプローチは、ビデオデブロアリングタスクにおいて有望な成功を収めている。 既存の合成データセットで訓練されたモデルは、現実世界のぼやけたシナリオよりも一般化の問題に悩まされている。 本稿では, RAW-Blur と呼ばれる, ぼかし生成の手がかりを生かして, 現実的なぼかし合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-28T09:24:52Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data [17.529045507657944]
  我々は、強力なESRGANを実用的修復アプリケーション(Real-ESRGAN)に拡張する。 複雑な実世界の劣化をシミュレートするために、高次劣化モデリングプロセスを導入する。 また、合成プロセスにおける共通リングやオーバーシュートアーティファクトについても検討する。
  論文  参考訳（メタデータ） (2021-07-22T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。