論文の概要: Temporal Kernel Consistency for Blind Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2108.08305v1
• Date: Wed, 18 Aug 2021 13:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-21 05:48:43.794582
• Title: Temporal Kernel Consistency for Blind Video Super-Resolution
• Title（参考訳）: Blind Video Super-Resolution における時間カーネルの整合性
• Authors: Lichuan Xiang, Royson Lee, Mohamed S. Abdelfattah, Nicholas D. Lane, Hongkai Wen
• Abstract要約: カーネルの時間的特性について検討し,視覚ビデオ超解像の課題におけるその重要性を強調した。 我々は、修復過程を通じて固定されたカーネルを使用するという以前の仮定は、実際のビデオのアップスケール時に視覚的アーティファクトにつながることを示した。 これに対応するために、カーネル推定とビデオアップスケーリングの両方のプロセスにおいて、カーネルの一貫性を活用するために、既存のシングルイメージとビデオSR技術を調整した。
• 参考スコア（独自算出の注目度）: 20.87161170169868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning-based blind super-resolution (SR) methods have recently achieved unprecedented performance in upscaling frames with unknown degradation. These models are able to accurately estimate the unknown downscaling kernel from a given low-resolution (LR) image in order to leverage the kernel during restoration. Although these approaches have largely been successful, they are predominantly image-based and therefore do not exploit the temporal properties of the kernels across multiple video frames. In this paper, we investigated the temporal properties of the kernels and highlighted its importance in the task of blind video super-resolution. Specifically, we measured the kernel temporal consistency of real-world videos and illustrated how the estimated kernels might change per frame in videos of varying dynamicity of the scene and its objects. With this new insight, we revisited previous popular video SR approaches, and showed that previous assumptions of using a fixed kernel throughout the restoration process can lead to visual artifacts when upscaling real-world videos. In order to counteract this, we tailored existing single-image and video SR techniques to leverage kernel consistency during both kernel estimation and video upscaling processes. Extensive experiments on synthetic and real-world videos show substantial restoration gains quantitatively and qualitatively, achieving the new state-of-the-art in blind video SR and underlining the potential of exploiting kernel temporal consistency.
• Abstract（参考訳）: 深層学習に基づくブラインド超解像法(SR)は、最近、未知の劣化を伴うアップスケーリングフレームにおいて前例のない性能を達成した。 これらのモデルは、修復中にカーネルを活用するために、与えられた低解像度(LR)画像から未知のダウンスケーリングカーネルを正確に推定することができる。 これらのアプローチは主に成功したが、主に画像ベースであるため、複数のビデオフレームにまたがるカーネルの時間的特性を利用できない。 本稿では,カーネルの時間的特性を調査し,ブラインドビデオの超解像処理におけるその重要性を強調した。 具体的には,実世界の映像のカーネル時間的一貫性を計測し,シーンとそのオブジェクトの動的に変化する映像において,推定されたカーネルがフレーム毎にどのように変化するかを示した。 この新たな洞察により、我々は以前の人気のビデオSRアプローチを再考し、修復プロセスを通じて固定されたカーネルを使用するという以前の仮定は、実世界のビデオのアップスケール時の視覚的アーティファクトにつながることを示した。 これに対抗するために,既存のシングルイメージとビデオsr技術を調整し,カーネル推定とビデオスケールアッププロセスの両方においてカーネル一貫性を活用した。 人工的および実世界のビデオに対する大規模な実験は、ブラインドビデオSRにおける新しい最先端技術を実現し、カーネルの時間的一貫性を活用する可能性の基盤となる、相当な回復率と質的な向上を示す。

関連論文リスト

• DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
  新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。 大規模な環境下では、復元の質が悪くなる場合が少なくない。 本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:51:44Z)
• Blind Time-of-Flight Imaging: Sparse Deconvolution on the Continuum with Unknown Kernels [8.59982222642104]
  ToF (Computer Time-of-Flight) イメージングは、エキサイティングで新しい画像モダリティとして登場した。 本稿では,カーネルキャリブレーションを必要とせず,連続体上のスパーススパイクを回復する新しいToFイメージング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T22:42:02Z)
• Analysis and Benchmarking of Extending Blind Face Image Restoration to Videos [99.42805906884499]
  まず,実世界の低品質顔画像ベンチマーク(RFV-LQ)を導入し,画像に基づく顔復元アルゴリズムの評価を行った。 次に、失明顔画像復元アルゴリズムを劣化顔ビデオに拡張する際の利点と課題を網羅的に分析する。 分析では、主に顔成分の顕著なジッタとフレーム間のノイズシェープの2つの側面に分類する。
  論文  参考訳（メタデータ） (2024-10-15T17:53:25Z)
• Self-Supervised Deep Blind Video Super-Resolution [46.410705294831374]
  本稿では,視覚ビデオSR問題を解決するための自己教師付き学習手法を提案する。 我々は、ビデオSRの画像形成に応じて、元のLRビデオから補助的なペアデータを生成する。 実験により,本手法は,ベンチマークや実世界のビデオにおいて,最先端の手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-01-19T05:18:44Z)
• Spectrum-to-Kernel Translation for Accurate Blind Image Super-Resolution [33.59749785182318]
  任意のぼかしカーネルで劣化したLR画像の超解像化のための新しいブラインドSRフレームワークを提案する。 まず、周波数領域における特徴表現は、空間領域よりもカーネル再構成を曖昧にするため、より導出的であることを示す。 合成画像と実画像の両方で実験した結果,提案手法はカーネル推定誤差を十分に低減することがわかった。
  論文  参考訳（メタデータ） (2021-10-23T06:03:22Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T16:19:20Z)
• Deep Blind Video Super-resolution [85.79696784460887]
  本稿では,ビデオSRを曖昧なカーネルモデリング手法により解くために,深層畳み込みニューラルネットワーク(CNN)モデルを提案する。 提案したCNNモデルは、動きのぼかし推定、動きの推定、遅延画像復元モジュールからなる。 提案アルゴリズムは, より微細な構造情報を用いて, より鮮明な画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-03-10T13:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。