論文の概要: Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2212.05342v1
• Date: Sat, 10 Dec 2022 17:41:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 16:30:15.499827
• Title: Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution
• Title（参考訳）: リアルタイムビデオスーパーリゾリューションのためのベンチマークデータセットと効果的なフレーム間アライメント
• Authors: Ruohao Wang, Xiaohui Liu, Zhilu Zhang, Xiaohe Wu, Chun-Mei Feng, Lei Zhang, Wangmeng Zuo
• Abstract要約: ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。 既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
• 参考スコア（独自算出の注目度）: 65.20905703823965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.
• Abstract（参考訳）: 高解像度(hr)映像を低解像度(lr)映像から再構成するビデオ・スーパーレゾリューション(vsr)は近年大きな進歩を遂げている。 しかし、複雑な劣化を伴う実世界のデータに既存のVSRメソッドをデプロイすることは依然として困難である。 一方、よく整合した実世界のVSRデータセットは少なく、特に大規模な超解像スケールファクタでは、実世界のVSRタスクの開発が制限されている。 一方、既存のVSR手法のアライメントアルゴリズムは実写ビデオでは不十分であり、不満足な結果をもたらす。 上記の問題に対処するために、私たちは、スマートフォンの焦点長の異なるレンズで、低解像度ビデオと高画質ビデオがそれぞれキャプチャされる現実の4つのvsrデータセット、mvsr4$\times$を作成しました。 さらに,実世界のVSR,すなわちAVSRの効果的なアライメント手法を提案する。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。 RealVSRとMVSR4$\times$データセットの実験結果は,本手法の有効性と実用性を示し,実世界のVSRタスクにおける最先端性能を実現する。 データセットとコードは公開される予定だ。

関連論文リスト

• Enhanced Super-Resolution Training via Mimicked Alignment for Real-World Scenes [51.92255321684027]
  トレーニング中、LR入力とHR画像の整列により、誤調整問題を緩和する新しいプラグアンドプレイモジュールを提案する。 具体的には,従来のLR試料の特徴を保ちながらHRと整合する新しいLR試料を模倣する。 本手法を合成および実世界のデータセット上で総合的に評価し,SRモデルのスペクトル間での有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-07T18:18:54Z)
• Towards Realistic Data Generation for Real-World Super-Resolution [58.88039242455039]
  RealDGenは、現実世界の超解像のために設計された教師なし学習データ生成フレームワークである。 我々は,コンテンツ分解脱結合拡散モデルに統合されたコンテンツと劣化抽出戦略を開発する。 実験により、RealDGenは、現実世界の劣化を反映する大規模で高品質なペアデータを生成するのに優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-11T13:34:57Z)
• Learning Dual-Level Deformable Implicit Representation for Real-World Scale Arbitrary Super-Resolution [81.74583887661794]
  整数と非整数のスケーリング要素を併用した,新しい実世界のスーパーレゾリューションベンチマークを構築した。 実世界の任意の超解像を解くために,Dual-level Deformable Implicit Representation (DDIR)を提案する。 実世界の任意の超解像のためのRealArbiSRおよびRealSRベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-16T13:44:42Z)
• Expanding Synthetic Real-World Degradations for Blind Video Super Resolution [3.474523163017713]
  ビデオ超解像(VSR)技術はここ数年で大幅に改善され、合成データに顕著な性能を示した。 しかし、実世界のビデオデータにおけるそれらのパフォーマンスは、実世界の劣化と不整合のビデオフレームの複雑さに悩まされている。 本稿では,合成学習データセットにおける実世界の劣化について述べる。
  論文  参考訳（メタデータ） (2023-05-04T08:58:31Z)
• Boosting Video Super Resolution with Patch-Based Temporal Redundancy Optimization [46.833568886576074]
  静止物体と背景を持つパッチにおける時間的冗長性の影響について論じる。 我々は,既存の局所的および非局所的伝搬型VSRアルゴリズムの性能向上のための,シンプルで効果的な2つのプラグアンドプレイ法を開発した。
  論文  参考訳（メタデータ） (2022-07-18T15:11:18Z)
• Real-Time Super-Resolution System of 4K-Video Based on Deep Learning [6.182364004551161]
  ビデオレゾリューション(VSR)技術は低品質のビデオ計算において優れており、職業ベースのアルゴリズムによって生じる不快なブラー効果を回避している。 本稿では、リアルタイムVSシステムの可能性について検討し、EGVSRと呼ばれる効率的な汎用VSRネットワークを設計する。 現在最も先進的なVSRネットワークであるTecoGANと比較して、密度の84%削減と7.92倍の性能向上を実現している。
  論文  参考訳（メタデータ） (2021-07-12T10:35:05Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。