論文の概要: Deep Video Super-Resolution using HR Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2001.02129v1
• Date: Mon, 6 Jan 2020 07:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 02:35:32.445035
• Title: Deep Video Super-Resolution using HR Optical Flow Estimation
• Title（参考訳）: HRオプティカルフロー推定を用いたディープビデオ超解像
• Authors: Longguang Wang, Yulan Guo, Li Liu, Zaiping Lin, Xinpu Deng and Wei An
• Abstract要約: ビデオ超解像(SR)は、高解像度(HR)フレームを高解像度(LR)フレームから高解像度かつ時間的に一貫した細部で生成することを目的としている。 既存のディープラーニングに基づく手法は、一般的にLRフレーム間の光の流れを推定し、時間依存性を提供する。 我々は、光学フローと画像の両方を超解き放つ、エンドツーエンドのビデオSRネットワークを提案する。
• 参考スコア（独自算出の注目度）: 42.86066957681113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video super-resolution (SR) aims at generating a sequence of high-resolution (HR) frames with plausible and temporally consistent details from their low-resolution (LR) counterparts. The key challenge for video SR lies in the effective exploitation of temporal dependency between consecutive frames. Existing deep learning based methods commonly estimate optical flows between LR frames to provide temporal dependency. However, the resolution conflict between LR optical flows and HR outputs hinders the recovery of fine details. In this paper, we propose an end-to-end video SR network to super-resolve both optical flows and images. Optical flow SR from LR frames provides accurate temporal dependency and ultimately improves video SR performance. Specifically, we first propose an optical flow reconstruction network (OFRnet) to infer HR optical flows in a coarse-to-fine manner. Then, motion compensation is performed using HR optical flows to encode temporal dependency. Finally, compensated LR inputs are fed to a super-resolution network (SRnet) to generate SR results. Extensive experiments have been conducted to demonstrate the effectiveness of HR optical flows for SR performance improvement. Comparative results on the Vid4 and DAVIS-10 datasets show that our network achieves the state-of-the-art performance.
• Abstract（参考訳）: ビデオ超解像(SR)は、高解像度(HR)フレームを高解像度(LR)フレームから高解像度かつ時間的に一貫した細部で生成することを目的としている。 ビデオSRの鍵となる課題は、連続フレーム間の時間依存性を効果的に活用することにある。 既存のディープラーニングに基づく手法は、一般的にLRフレーム間の光の流れを推定し、時間依存性を提供する。 しかし、LR光流とHR出力の分解能の衝突は詳細の回復を妨げる。 本稿では,光学フローと画像の両方を超解凍するエンドツーエンドビデオSRネットワークを提案する。 LRフレームからの光フローSRは正確な時間依存性を提供し、最終的にビデオSR性能を向上させる。 具体的には,まず,hr光の流れを粗く正確に推定するオプティカルフロー再構成ネットワーク(ofrnet)を提案する。 そして、HR光流を用いて動き補償を行い、時間依存性を符号化する。 最後に、補償LR入力を超解像ネットワーク(SRnet)に供給し、SR結果を生成する。 SR性能向上のためのHR光流の有効性を示すため, 広汎な実験を行った。 Vid4 と DAVIS-10 データセットの比較結果は,我々のネットワークが最先端の性能を達成することを示す。

関連論文リスト

• Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
  本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。 我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。 動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
  論文  参考訳（メタデータ） (2023-12-01T14:40:07Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding [87.5799910153545]
  シングルイメージ超解像(SR)とマルチフレームSR(SR)は、低解像度画像を超解する2つの方法である。 単一静止画像から動的時間情報を学習するために, ブラインド・モーション・デブロアリング・スーパー・レゾリューション・ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T11:52:45Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。